Welcome 微信登录

首页 / 网页编程 / PHP / 基于php实现七牛抓取远程图片

由于公司网站之前的用户头像都是存储在自己的服务器上的,后来感觉管理不方便,新增加的用户头像都上传到了七牛,为了方便统一管理,领导说把本地服务器的头像全部迁移到了七牛。
1.梳理下思路
先判断用户的头像是否在七牛,若不存在,本地如果有则抓取到七牛,然后进行批量抓取
2.七牛判断图片是否存在
 /*** 查看七牛url是否存在* @param string $url*/ function url_exists($url) { require_once(COMMON_PATH."qiniu/rs.php"); require_once(COMMON_PATH."qiniu/http.php"); $parts=parse_url($url); $bucket ;//桶 $key=substr($parts["path"], );//七牛文件名//密钥 $accessKey ;$secretKey ; Qiniu_SetKeys($accessKey, $secretKey); $client = new Qiniu_MacHttpClient(null); list($ret, $err) = Qiniu_RS_Stat($client, $bucket, $key);//查看单个文件信息 if ($err !== null) { return false; } else { return true; } }
3.移动单个文件到七牛
 /*** 移动单个头像到七牛* @param string $remotePath 远程文件在服务器上的物理地址* @param string $qiniuPath 七牛文件地址*/ function oneFetch($remotePath,$qiniuPath){ if(!$this->url_exists($qiniuPath) && file_exists($remotePath)){ require_once(COMMON_PATH."qiniu/rs.php"); require_once(COMMON_PATH."qiniu/http.php"); require_once(COMMON_PATH."qiniu/conf.php"); $client = new Qiniu_MacHttpClient(NULL); /*$accessUrl 远程文件访问地址 *$bucket桶 *$key 存储在七牛的文件名 */ $ret = Qiniu_RS_Fetch($client,$accessUrl, $bucket, $key); if($ret != NULL) { $errlog = "fail.log";//写错误日志 file_put_contents($errlog,"{$key}
", FILE_APPEND); } else { var_dump($ret); } }else{ var_dump("已有头像"); } }
4.批量抓取
function t(){header("Content-type: text/html; charset=utf-8");set_time_limit(0);$start = intval($_GET["num"]);//开始位置$str = "";/*从数据库查询记录*/$link = mysql_connect("localhost", "root", "root") or die("error");$db_selected = mysql_select_db("test", $link);mysql_query ("SET NAMES UTF8");$limit = 10;//每次查询数 $sql = "SELECT * FROM test order by id desc limit {$start},{$limit}";$result = mysql_query($sql) or die(mysql_error());if(mysql_num_rows($result)){while($row=mysql_fetch_assoc($result)){oneFetch($row["remotePath"], $row["qiniuPath"]);}$start += 10;$url = "/t?num={$start}";$str = "已经更新".$start."条<br />";$str .= "<script>location.href="".$url."";</script>";//更新$limit条,跳转防止脚本无响应}else{echo "结束";} echo $str;ob_flush();flush();sleep(2);unset($sql,$result,$row);}
以上内容是基于php实现七牛抓取远程图片的全部内容,希望大家喜欢。