作者Minarai (米拿雷)
看板Python
标题[问题] Django多worker爬虫 如何做shared memory
时间Sun Mar 10 16:33:33 2019
我目前在使用Django celery multiple worker做爬虫
shared memory的部分使用cache & db
但如果遇到requests session 或 socket连线
就无法使用cache了
变成每个worker都要登入一次
有什麽建议的方法吗
感谢指导!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.24.100.97
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1552206815.A.4B8.html
1F：→ kenduest: requests 的 session 你可以存起来後续载入使用就好 03/10 19:22
2F：→ f496328mm: 我用 rabbitmq + celery，云端架 worker 03/10 22:01
3F：→ f496328mm: worker 一个月5镁，可以开很多个，蛮便宜的 03/10 22:01
4F：→ TakiDog: 存session/存cookie 03/10 22:22