作者johdju88 (行動代號—皮卡丘☆)
看板Python
標題[問題] 米特的穿搭版該怎麼爬呢？
時間Thu Mar 12 20:38:41 2020
如題
米特是一個高中生的論壇
https://meteor.today/board/styling
因為我最近想要學習年輕人的穿搭風格 想利用爬蟲抓一下
已經知道是用Beautfulsoup還有requests來抓了
可是我看html.text裡面沒有每一篇的文章連結？
其他的部分基本上都ok 我會用 selenium 的Webdirver來click"更多文章"
點進文章之後的圖片網址我也能用正則表達式子下載下來
現在就是差把每一篇文章的網址找到了....
新手 請教各位前輩 謝謝!!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.35.244.95 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1584016724.A.A81.html
1F：推 TakiDog: 用requests吧 03/12 21:00
2F：→ TakiDog: F12 Network的部分在看一下，一定在哪有圖片的url 03/12 21:01
3F：→ alvinlin: 看起來是JS的問題。要研究研究 03/13 00:57
4F：→ alvinlin: 你試過selenium webdriverwait 嗎？ 03/14 01:01
5F：→ alvinlin: 我研究完JS了。方法是要分析它的flow，然後看網頁如何re 03/14 11:59
6F：→ alvinlin: nder出來的，接著一個個拆解後，找到關鍵的頁面，試著去 03/14 11:59
7F：→ alvinlin: parse解析內容就行了 03/14 11:59
9F：→ alvinlin: 如果要看其他的欄位: 03/14 12:30
謝謝大大寄信 我會再研究研究
※ 編輯: johdju88 (1.34.147.165 臺灣), 03/15/2020 16:16:16
11F：推 alvinlin: ^^ 03/17 00:52