作者gigigigi (gigigigi)
看板Python
标题[问题] scrapy 启动後 parse 未呼叫到
时间Sat Aug 22 14:47:47 2020
https://github.com/jang0820/scrapy/tree/master/twse_mongo 程式码
https://sites.google.com/site/zsgititit/home/python-cheng-shi-she-ji/shi-yongscrapy-zhua-qu-tai-gu-zheng-jiao-suo-mei-ri-gu-jia-zi-liao-chu-cun-daomongodb?tmpl=%2Fsystem%2Fapp%2Ftemplates%2Fprint%2F&showPrintDialog=1
我是按照上面网址范例操作
在Mongo内建立资料库STwStock，新增collection为twse
在twse_mongo资料夹执行指令 scrapy crawl twse
发现资料表没有新增资料～ 後来发现 parse 函数都还没跑到
想请问一下可能是什麽原因？
下面是执行後log 讯息
https://pastebin.com/Zk4F0KKJ
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 112.104.29.7 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1598078871.A.A7F.html
1F：→ alvinlin: 我看起来是挺明显的问题啊 08/22 15:02
2F：→ alvinlin: Forbidden by robots.txt 08/22 15:05
3F：→ alvinlin: 所以。要设为False 08/22 15:05
4F：→ gigigigi: 可以了～感谢 08/22 16:50