作者e23882 (呆呆要不要买降有)
看板Python
标题Re: [问题] 记忆体不足
时间Thu Oct 29 19:12:32 2020
当浏览器显示out of memory的时候把工作管理员开起来
看看是不是一堆chrome还是chromedriver在背景占用资源
这个问题我最近也有遇到
明明在最後有写driver.quit()但是资源好像都没有放掉
後来的写法就变成只new一个chrome driver的实例(instance)
然後重复抓完资料之後第二次再用目前的instance重新送请求
原本资源没有释放掉的写法是这样写
while True:
driver = webdriver.Chrome(...)
driver.get(url)
#....do something..
driver.quit()
time.sleep(10)
改成
driver = webdriver.Chrome(...)
while True:
driver.get(url)
#....do something..
time.sleep(10)
driver.quit()
记忆体使用率跟硬碟使用率很高的问题就都解决了
你可以试试看对你有没有帮助
※ 引述《cathy0610 (凯西)》之铭言：
: 请问执行会对网页重覆执行爬虫的脚本
: 它在执行一段时间後
: chrome浏览器就会显示out of memory
: 程式就停止了
: (电脑记忆体32g)
: 请问这个问题有办法解决吗?
: (除了重启浏览器，还有其他方法吗?)
: 谢谢
--
1F：嘘 timhk108: 雨八07/15 22:00
2F：嘘 victoryss: 田ㄙ07/15 22:03
3F：嘘 timhk108:...什麽雷公！再给你一次机会 雨八07/15 22:14
4F：嘘 mcsam: 云木07/15 22:30
5F：推 timhk108:什麽云朵！！最後一次！ 雨八07/15 22:32
6F：嘘 victoryss: 云ㄙ07/15 22:34
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 211.75.101.50 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1603969955.A.D26.html
7F：→ justoncetime: 关掉[Google Chrome 关闭时继续执行背景应用程式]呢 10/30 16:04