作者johdju88 (行动代号—皮卡丘☆)
看板Python
标题[问题] 米特的穿搭版该怎麽爬呢？
时间Thu Mar 12 20:38:41 2020
如题
米特是一个高中生的论坛
https://meteor.today/board/styling
因为我最近想要学习年轻人的穿搭风格 想利用爬虫抓一下
已经知道是用Beautfulsoup还有requests来抓了
可是我看html.text里面没有每一篇的文章连结？
其他的部分基本上都ok 我会用 selenium 的Webdirver来click"更多文章"
点进文章之後的图片网址我也能用正则表达式子下载下来
现在就是差把每一篇文章的网址找到了....
新手 请教各位前辈 谢谢!!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.35.244.95 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1584016724.A.A81.html
1F：推 TakiDog: 用requests吧 03/12 21:00
2F：→ TakiDog: F12 Network的部分在看一下，一定在哪有图片的url 03/12 21:01
3F：→ alvinlin: 看起来是JS的问题。要研究研究 03/13 00:57
4F：→ alvinlin: 你试过selenium webdriverwait 吗？ 03/14 01:01
5F：→ alvinlin: 我研究完JS了。方法是要分析它的flow，然後看网页如何re 03/14 11:59
6F：→ alvinlin: nder出来的，接着一个个拆解後，找到关键的页面，试着去 03/14 11:59
7F：→ alvinlin: parse解析内容就行了 03/14 11:59
9F：→ alvinlin: 如果要看其他的栏位: 03/14 12:30
谢谢大大寄信 我会再研究研究
※ 编辑: johdju88 (1.34.147.165 台湾), 03/15/2020 16:16:16
11F：推 alvinlin: ^^ 03/17 00:52