作者philipwen (匈牙利=Hungary)
看板Python
标题[闲聊] 请问有人用过免费Proxy写爬虫吗?
时间Fri Jul 19 14:21:29 2019
http://tinyw.in/lOA8
附上网址
最近再用BeautifulSoup写爬虫，但老问题就是遇到防火墙规则
相同IP重复挖取被挡下来了 就想说用跳板来抓
看到这一篇是抓可以用的免费Proxy来抓
Code分成两大部分 第一部分就是一个小爬虫去爬免费Proxy
不知道有没有人玩过这个呢? 分享给大家
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 125.230.119.225 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1563517298.A.DAA.html
※ 编辑: philipwen (125.230.119.225 台湾), 07/19/2019 14:27:31
1F：→ philipwen: 问一下 有没有人死在proxies=Next(proxy_pool)呢 07/19 14:37
2F：→ shadowjohn: 先把proxy4free列表里的刷一次看哪些能用~ 07/19 21:43
3F：→ s860134: 就一个 for 回圈和一个 get 去检查能不能用... 07/20 00:24
4F：→ ptl1129: proxybroker 07/21 10:32