作者aaa7513231 (浑沌与秩序)
看板Web_Design
标题[问题] 网页爬虫
时间Tue May 3 22:02:36 2016
大家好，最近遇到一个很困扰的问题
一般爬虫爬静态网页没甚麽问题
某些动态网页我也可以去观察他的Post或是get去截他资料
但我现在遇到一种网页是ajax data 绑进tab元件内
data部分有加密
他的tab内容需要点击去动态产生内容
跟bootstrap的tap相同
http://www.w3schools.com/bootstrap/bootstrap_ref_js_tab.asp
像这样的动态网页有建议的爬虫方法嘛
好烦恼阿@@....
看来看去就是找不到方法破解
谢谢大家
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.231.19.63
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Web_Design/M.1462284158.A.2B3.html
1F：推 bbgba1923: Watir 05/03 22:27
2F：→ aaa7513231: 我用python+scrapy写的，watir看起来好像用不上@@ 05/03 22:39
3F：→ lininu: . 05/05 13:31
4F：→ lininu: ppt.cc/S6LY7 JPTT网址推不出去== 05/05 13:32
5F：→ mmis1000: 因为ppt.cc早就被全站封锁了，你为啥不改用其他好一点 05/05 18:01
6F：→ mmis1000: 的转址？像是 goo.gl 之类的 05/05 18:01
7F：→ mmis1000: 就是 ma19.moe 都比 ppt.cc 好太多 05/05 18:03
8F：→ aaa7513231: 我後来放弃了，去研究他ajax的资料作破解 05/06 10:45
9F：→ lininu: 感谢mmis，我没有注意到这件事～ 05/07 07:03
10F：推 ayhaadam: 可以研究看看 PhantomJS 之前 05/15 23:29
11F：→ ayhaadam: 用他来爬过 agoda，他们也有类似的保护机制 05/15 23:30