作者rodyforeter (rodyforeter)
看板Python
标题[问题] 爬虫 XHR也找不到目标资料
时间Fri Dec 28 19:57:48 2018
各位大大安安
我目前在写一个电商爬虫
自己做了一些功课
对於动态载入的网页通常会用调出XHR的request或是使用web driver
现在碰到的一个疑问是
某电商网页里面的资料
doc里面没有 打开xhr一一扫过也没有找到对应的资料
所以可能会用网页驱动去爬取
但很好奇这类型的网页是如何得到资料的呢?
里面有一个 jquery xhr
是否是这个东西在搞鬼??
新手发问
感谢解答 ~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 110.28.227.56
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1545998272.A.599.html
1F：→ nini200: 直接给网站呗 可疑的网页都去点来看 网页看的到基本都有 12/29 06:21
2F：推 extraymond: 也有可能是websocket吗？ 12/29 16:24
4F：→ rodyforeter: 我想要的资料是左边的各项目录网址 12/29 17:56
5F：→ rodyforeter: <dl id='MenuContainer' ...下的所有 <li> 12/29 17:58
6F：推 nini200: 我google pchome 爬虫 有影片教学 你参考一下呗 12/29 20:47
7F：→ rodyforeter: 谢谢 但是左侧的那些目录 不在xhr里面@@ 12/29 22:38
8F：→ rodyforeter: 我再研究看看 12/29 22:40
9F：→ rodyforeter: 灵机一动在旁边的JS里面找到了!哈哈 12/29 22:44
10F：→ rodyforeter: 因为教学都说看XHR 结果一直找不到 谢谢大家 12/29 22:44
11F：推 jasonfghx: 哪一个网站? 12/30 14:51
12F：→ rodyforeter: 是pchome 现在已经可以了 问题是另一个更难的 momo 01/03 05:20