作者superpaden (六四坦克蹦蹦蹦)
看板Python
标题[问题] 瀑布式网页爬虫问题
时间Tue Feb 2 01:02:29 2021
请问各位30cm Ecup乡亲们:
小弟最近在爬虫使用selenium爬虫时出现了一点障碍，就是
当瀑布式网页下滑太多时，电脑的记忆体会炸开。目前的解决方法是在chrome options 添
加--disk-cache-dir来指定存放在外接硬碟。
可是电脑在跑的时候，虽然硬碟中有东西进来，但是同时电脑的ram也在飞速流失
拜托各位大老们指点我这个菜逼八
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.136.149.183 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1612198980.A.C3B.html
1F：→ x94fujo6: 用JS删掉抓完资料的element? 02/02 06:05
2F：推 supremebboy: 用requests +bs4 爬 02/02 09:07
3F：推 ToastBen: a大 他可能要爬动态资料吧？ 02/02 13:26
4F：→ superpaden: 对的 我要爬动态资料 02/02 14:57
5F：推 aidansky0989: 一样用requests爬，尽量不要用s 02/02 16:51
6F：推 vi000246: 用request吧 02/02 17:31
7F：推 supremebboy: 瀑布式大部分都是下拉时再发请求去拿资料 02/02 19:56
8F：→ supremebboy: 去看开发者工具 用requests 发出一样的请求 02/02 19:57
9F：→ taipoo: 用selenium爬虫很慢的 02/03 04:15
10F：→ TakiDog: 你要懂网路，网路才会懂你，requests香喷喷，没极端反爬 02/03 22:49
11F：→ TakiDog: 需求不要Selenium 02/03 22:49