作者marksam (炸桥)
看板PHP
标题[请益] 请问cURL某一网站的问题
时间Wed Mar 30 17:26:03 2016
小弟想利用curl来抓取某网站的内容
https://www.youtube.com/trendsdashboard#age0=25-34&loc0=twn
使用以下mycurl()的程式码 , 有抓到东西
抓到的head如下：
HTTP/1.1 200 OK Date: Wed, 30 Mar 2016 09:23:41 GMT Server: gwiseguy/2.0
X-Frame-Options: SAMEORIGIN X-XSS-Protection: 1; mode=block;
report=
https://www.google.com/appserve/security-bugs/log/youtube
Cache-Control: no-cache Content-Type: text/html; charset=utf-8 Expires: Tue,
27 Apr 1971 19:44:06 EST Strict-Transport-Security: max-age=604800
X-Content-Type-Options: nosniff Accept-Ranges: none Vary: Accept-Encoding
Transfer-Encoding: chunked
後来我也有把cookie 送上去
但不知为什麽抓不到原始网页下方影片的资讯(连结href, 点及次数...等资讯)
想请教大家自己是哪个地方出错？
或是目标网页有什麽新技术 造成无法抓取呢？ 感谢~~
function mycurl()
{
//目标网站
$target1="
https://www.youtube.com/trendsdashboard#age0=25-34&loc0=twn ";
#####(A 1)选项设定: 目标设置 / 起始 / 假冒
$s=curl_init();
curl_setopt($s,CURLOPT_URL,$target1);
$user_agent='Mozilla/5.0 (Windows NT 6.1;WOW64) AppleWebKit/537.11 (KHTML,
like Gecko) Chrome/23.0.1271.95 Safari/537.11';
curl_setopt($s, CURLOPT_USERAGENT, $user_agent);
#(1)是否发送POST请求 (填表单)
//$POST_data1=array('CN'=>"l6",'remember'=>"1",'UserPASSWORD'=>"091",'URL'=>"");
//$POST_data2=array('username'=>"
[email protected]",'passwd'=>"");
//curl_setopt($s,CURLOPT_POST,1);
//curl_setopt($s,CURLOPT_POSTFIELDS,$POST_data1);
#(2)结果回传:是否以 文件流/二元码方式传回
curl_setopt($s,CURLOPT_RETURNTRANSFER,TRUE);
//curl_setopt($s,CURLOPT_BINARYTRANSFER,TRUE);
#(3)结果回传:是否 包含标头 / 只要BODY
curl_setopt($s,CURLOPT_HEADER,TRUE);
#(4)COOKIE设定: CURLOPT_COOKIEJAR接收储存资讯 ，而CURLOPT_COOKIEFILE送出资讯。
###送出多个cookie内容(变数资料串),分号後要带1个空格 范例"friut=8923;
curl_setopt($s,CURLOPT_COOKIE,"VISITOR_INFO1_LIVE=4kLW9NhJVbI;
YSC=KTyxERZA5Io; PREF=f1=50000000");
###记录COOKIE资讯，在cookie.txt中(绝对位置)
curl_setopt($s,CURLOPT_COOKIEJAR,"C:\\xampp\\htdocs\\mark\\cookie.txt");
###浏览时，把cookie.txt当中的COOKIE资讯一并送出给伺服器
curl_setopt($s,CURLOPT_COOKIEFILE,"C:\\xampp\\htdocs\\mark\\cookie.txt");
#(5)SSL网站 (https开头)
######抓取SLL网站则要记得开启verifypeer这行 并设定成false
curl_setopt($s,CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($s,CURLOPT_SSL_VERIFYHOST,0);
//curl_setopt($s, CURLOPT_SSL_CAPATH,cainfo);
//curl_setopt($s, CURLOPT_SSL_CAINFO,"cainfo.txt");
//curl_setopt($s, CURLOPT_SSL_VERSION,2);
######是否检查伺服器端SSL证书中有没有domain/subdomain name
//curl_setopt($s, CURLOPT_SSL_VERIFYHOST,TRUE);
# (6)设定等待SERVER的时间~单位秒
curl_setopt($s,CURLOPT_TIMEOUT,15);
# (7)重新导向 : 是否跟随重导 ,设定引入参照, 最大重导次数
curl_setopt($s,CURLOPT_FOLLOWLOCATION,TRUE);
curl_setopt($s,CURLOPT_AUTOREFERER,TRUE);
curl_setopt($s,CURLOPT_MAXREDIRS,3);
//curl_setopt($s,CURLOPT_UNRESTRICTED_AUTH,TRUE);
#####（B）最後一次 执行CURL 并把错误资讯导出################
$download_page=curl_exec($s);
$errors=curl_error($s);
###### 展示并写入挡案：$download_page & webget.txt ########
echo $download_page."<br>"."抓取结END！";
file_put_contents("WEBget.txt",$download_page);
}
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.184.33.38
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PHP/M.1459329966.A.476.html
※ 编辑: marksam (111.184.33.38), 03/30/2016 17:34:21
※ 编辑: marksam (111.184.33.38), 03/30/2016 17:38:21
1F：→ MOONRAKER: 天啊 ajax网站用curl怎麽抓得完 03/30 18:22
2F：→ MOONRAKER: 人家有API 不要用这种逼猪上树的方法好吗 03/30 18:23
※ 编辑: marksam (111.184.33.38), 03/30/2016 18:51:05
3F：→ marksam: 如何看出有AJAX呢？ 慢慢爬JS码吗？ 03/30 18:51
4F：→ JustGame: 请爱用浏览器 F12 快捷键，是说这样来得及结案吗？ 03/30 22:16
※ 编辑: marksam (111.184.33.38), 03/30/2016 23:10:14
5F：→ marksam: 按了f12阿 但是从我抓下来的内容中 找不到关键的ajax 03/30 23:11
6F：→ marksam: 应该问「从js大海中 看出ajax的关键字」是什麽呢？ 03/30 23:12
8F：→ Neisseria: 有空的话，好好学些 third-party API 卡实在 03/30 23:18
9F：推 aaa7513231: 蛮好奇他不是要求用bat或exe嘛，php是要 03/31 00:31
10F：→ aaa7513231: 怎样用啊 03/31 00:31
12F：→ MOONRAKER: 你是在抓youtube 不是没人听过的2266站好吗 03/31 09:41
13F：→ MOONRAKER: 这种变态的站根本不用看他有没有ajax 用闻的就知道了 03/31 09:43