作者jimmy5104 (吉米兒)
看板Python
標題[問題] aspx爬蟲翻頁問題
時間Thu Dec 13 11:00:42 2018
https://www.mittw.org.tw/products/manufacturer.aspx
想要將這個網頁的公司名稱爬蟲下來，但發現有翻頁問題
已經在stackoverflow等等網站找尋資訊，還是無法解決，
想請問各位py神有沒有方法可以解決這個問題。
以下是程式碼
from bs4 import BeautifulSoup
import requests
url = '
https://www.mittw.org.tw/products/manufacturer.aspx'
url_get = requests.get(url)
soup = BeautifulSoup(url_get.content, 'lxml')
col = soup.find_all('div',{'class': "name"})
for ix in col:
print(ix.get_text())
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.117.248.4
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1544670049.A.FB6.html
1F：→ CodingMan: Selenium 12/13 11:17
3F：→ cody880528: ASP都比較麻煩一點 12/13 12:18
4F：→ jimmy5104: 謝謝cody880528你的code可以順利爬下來但是我有的看不 12/13 13:13
5F：→ jimmy5104: 懂其中的含意可以幫我解釋一下嗎？ 另一個問題就是假如 12/13 13:13
6F：→ jimmy5104: 說main()爬取下來後怎麼將他也順利寫入csv擋 12/13 13:13
7F：推 jason860421: 開開發者工具看網頁做了什麼就知道了 12/13 15:30
8F：→ jimmy5104: aspx背後程式碼有點看不懂cody打在def裡面有幾個網頁 12/13 16:53
9F：→ jimmy5104: 原始檔的code不知道為什麼是這樣打我比較想知道原因為 12/13 16:53
10F：→ jimmy5104: 什麼是挑選那幾個下去原始碼後就可以翻頁爬蟲 12/13 16:53