作者faithinu (彩色的肝)
看板Python
标题[问题] 新手请益 爬虫资料停止更新
时间Wed Dec 9 22:37:42 2020
各位前辈大家好
小弟爬虫新手
因为真的很想去五月天的演唱会
所以写了程式去爬 drama-ticket版
逻辑上大概是每隔一小段时间爬这个版的第一页
如果文章标题有"售"跟"五月天" 就会传line提醒我
只爬第一页是因为没有特殊状况的话
一分钟内的文章数应该不会超过一页
程式码如下
https://ideone.com/Z2psBR
https://i.imgur.com/mFz6oL4.png
执行起来长这样
https://i.imgur.com/SDsWbkL.png
写完测试没问题之後我有包成.exe方便使用
但我发现有时候他就莫名停下来不会在更新了
也不会一直更新等待时间
请问执行过程中有可能出现哪些问题导致这样的情况发生呢？
小弟的理解是 就算网页读取错误 应该只会找不到标签
然後继续往下执行 想不到会在哪里产生runtime error
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.113.231.185 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1607524664.A.234.html
1F：推 kane111: request的时候要先用try? 12/09 23:18
对欸没想到用try来看可能是哪里会error 感谢
2F：→ TakiDog: 网页如果是有问题的，後续找标签又index 可能IndexError 12/10 00:54
3F：→ TakiDog: 检查status_code 做好log纪录，方便後续找错 12/10 00:55
感谢大大 学到了一课 以後会记得的
※ 编辑: faithinu (140.113.231.185 台湾), 12/10/2020 02:33:56
4F：推 f496328mm: request 设个timeout 12/10 14:00
5F：推 bochengchen: Ptt altert可以看看 12/12 18:01