作者jason51806 (屌面)
看板java
标题[问题] JSOUP抓资料时找不到POST参数
时间Thu Sep 24 14:30:52 2015
问个Joup抓google play网页时遇到的问题，我想抓使用者曾经安装过的app资料与这些
app的评分
----------------------------------------------------------
首先我参考
http://www.mkyong.com/java/how-to-automate-login-a-website-java-example/
自动登入使用者的gmail帐号
----------------------------------------------------------
接着我用以下程式码只抓到了前19支app的资料
Document doc = (Document) Jsoup.connect("
https://play.google.com/apps").get();
Elements ids = doc.select("a.title");
for(int i = 0; i < ids.size(); i++) {
System.out.println(ids.get(i).ownText());
System.out.println("-------------------------------------");
}
----------------------------------------------------------
於是我就用firefox观察什麽时後载入後面的app，发现是如附图所示的
POST时载入的，POST其中有两个参 pageTok=CgQIARAU:S:ANO1ljIHHao &
token=oRGw3hsIH91sA88DIpRqvLkbTAQ:1443001966556
是我用jsoup发POST前我必须要先知道的。
---------------------------------------------------------
参数pagTok我从
Document doc = (Document) Jsoup.connect("
https://play.google.com/apps").get();
这行回传的html里面的某个<script>中的变数中找到了，但token这个参数我找很久都找不到...
---------------------------------------------------------
我观察到token每次POST都不一样，但随便用其中一个token都可以成功抓取所有app，但
每个使用者的token都不一样，所以我还是必须知道如何取得token这个参数。
---------------------------------------------------------
以下是我改写後的程式码，此程式码可以抓完我自己所有曾安装的app，不知道有没有高
手处理过这种问题，或是有其他方法能抓到我需要的资料，感谢各位~~~
int count=0;
Document doc = (Document) Jsoup.connect("
https://play.google.com/apps").get();
Elements ids = doc.select("a.title");
Elements scripts = doc.select("script");
String pagTok = scripts.get(12).toString().split("\\\\42")[3];
String token="oRGw3hsIH91sA88DIpRqvLkbTAQ:1443001966556";
for(int i = 0; i < ids.size(); i++) {
System.out.println(ids.get(i).ownText());
Document document = (Document) Jsoup.connect("
https://play.google.com/store/apps/details?id="+ids.get(i).attr("href").split("=")[1]).get();
Elements pkg = document.select("div.review-stars-container");
System.out.println(pkg.select("div.tiny-star").attr("aria-label"));
System.out.println("-------------------------------------");
count++;
}
while (true){
Document doc1 = (Document) Jsoup.connect("
https://play.google.com/apps?pagTok=" + pagTok +
"&token="+token).post();
Elements ids1 = doc1.select("a.title");
scripts = doc1.select("script");
for(int i=0; i < ids1.size(); i++) {
System.out.println(ids1.get(i).ownText());
Document document = (Document) Jsoup.connect("
https://play.google.com/store/apps/details?id=" +
ids1.get(i).attr("href").split("=")[1]).get();
Elements pkg = document.select("div.review-stars-container");
System.out.println(pkg.select("div.tiny-star").attr("aria-label"));
System.out.println("-------------------------------------");
count++;
}
if (scripts.get(12).toString().split("\\\\42").length==1) break;
pagTok = scripts.get(12).toString().split("\\\\42")[3].replace("\\\\u003d", "%3D");
}
}
首次发问，排版有点乱，请各位见谅~~~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.121.197.131
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/java/M.1443076254.A.354.html
1F：推 ckknmark: pastebin 是你的好朋友 09/25 12:33