作者surimodo (摇滚少女!! 活力棉花糖!!)
看板Python
标题[问题] 爬虫如何做到多进程异步处理
时间Wed Oct 5 10:48:08 2022
模拟程式码大概这样
https://pastebin.com/Ty672dLY
先创进程池
然後在里面跑任务
不过是跑不动的
要移除第八行 async 跟 第十四行的 await
才能跑(而且就算移除有机率会卡死)
但移除後
其实只是加一堆冗余程式码跑同步处理没有异步处理
我哪里需要修改
才能在单一进程里面执行异步处理
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.163.218.100 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1664938091.A.D6A.html
1F：→ lycantrope: 你搞混concurrent跟async 10/05 11:06
2F：推 timsheu: 没仔细看你其它部份，但你的do_stuff里面的sleep不能用 10/05 15:23
3F：→ timsheu: time.sleep，得改用 await asyncio.sleep 10/05 15:23
4F：→ cocoaswifty: 43行加个tab 10/05 18:17
5F：推 lycantrope: 是44行多个tab吧 async内用time.sleep就会停住所有 10/06 08:41
6F：→ lycantrope: coroutines 10/06 08:41
7F：→ zerof: 吓歪 10/07 00:35
8F：→ zerof: 你是不是想找： 10/07 01:13