作者liwei290341 (darling341)
看板Python
标题[问题] 关於Dcard的爬虫批量下载图档
时间Wed Dec 26 14:29:32 2018
各位大家好,搭给後,台尬侯!
小弟近期在学习python的爬虫,由於接触不久,所以上来询问
近期鲁宅我想努力变帅,所以在爬D卡上的穿搭版,想试着把每张照片下载下来
当作是造型型录逐一改造自己,但发现网路上关於D卡爬虫的相关文章好少
不知道是否能有大神帮帮忙,提供点方向或是提供个线索给鲁宅我
感激不尽!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 110.50.131.36
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1545805774.A.C50.html
1F:→ jiyu520: ...你有尝试过的话,会发现根本不难啊 12/26 14:40
2F:→ virginbear: 我猜你其实想爬的是另外一个版吧 12/26 14:44
3F:→ CMJ0121: 等到你的爬虫被他们 ban 再来讨论吧 XD 12/26 14:54
4F:推 woogee: 我的爬虫抓了半年左右被ban了,换成headless再战一波 12/26 16:27
5F:→ woogee: 关键字:Dcard API 12/26 16:27
6F:→ woogee: 还用CNN写了个辨识"男生穿搭"还是"女生穿搭"的程式 12/26 16:28
7F:推 tses89214: 想爬什麽版啊~~~XD 12/26 18:53
8F:推 yushes920179: 太明显了 你才不是要爬穿搭 少骗 12/26 19:08
9F:推 damnbear: 我不相信你 12/26 19:29
10F:推 nini200: 大家都老司机..... 12/26 20:32
11F:推 Vere: 我连抓4天IP被ban,不过还好hinet换IP很快 12/27 01:08
12F:推 mizumutsuki: 为什麽会被ban啊,是抓的速度太快吗 12/27 06:57
13F:推 CMJ0121: 原因不知道 我只知道 header 带我的 ID 就居居了 ker 12/27 15:53
14F:→ liwei290341: 另外一个版是顺便拉~~不是主要拉 哈哈哈 12/30 00:12
15F:→ liwei290341: 我有试着自己尝试过了 但是因为还太菜 所以很多部分 12/30 00:13
16F:→ liwei290341: 不知道从哪下手 才上来求助 12/30 00:13
17F:→ liwei290341: 谢关键字 会再试试看的! 12/30 00:14
18F:→ liwei290341: 我尝试了几天发现,是不是现在DCA在防爬虫啊?API的 01/02 11:46
19F:→ liwei290341: 部分似乎不是json格式,用soup抓下来也是一堆!![]+!! 01/02 11:47
20F:→ liwei290341: 似乎完全看不到内文,请问还有大大愿意试试看吗? 01/02 11:48
21F:推 HenryLiKing: 给一下API我试试看吗? 01/24 12:08