作者eecheng87 (EEcheng)
看板Python
標題[問題]如何爬取即使產生的資料
時間Wed Nov 20 21:11:56 2019
各位大大好，目前我在練習拿中央氣象局的各地溫度，但是用requests.get拿到的程式碼
都不含溫度的資料，他們好像會即時產生，程式碼只有表格的雛型，想請問有神麼辦法能
用爬蟲的方式拿到嗎?謝謝。
以下附上網址，表格在123行開始。
https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=64
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.103.162 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1574255518.A.BA7.html
※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:13:33
※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:18:30
※ 編輯: eecheng87 (140.116.103.162 臺灣), 11/20/2019 21:19:01
1F：→ dennisxkimo: 資料是叫用api回傳內容 所以你爬這頁看到表格 沒資料 11/20 22:01
2F：→ dennisxkimo: 網頁原始碼看的出來 高雄市 11/20 22:02
3F：→ dennisxkimo: www.cwb.gov.tw/Data/js/Observe/County/64.js 11/20 22:02
4F：→ dennisxkimo: 如果非靜態網頁 叫api回資料 反而要看懂他怎麼叫 11/20 22:04
5F：→ eecheng87: 所以這個應該是動態網頁?所以應該沒辦法走找尋selector 11/20 22:11
6F：→ eecheng87: 取值這條路了吧?那請問有神麼套件或api可以解決這個問 11/20 22:11
7F：→ eecheng87: 題嗎? 11/20 22:11
8F：→ dennisxkimo: 這種就不用爬 直接就給資料了 只要parse就好了 11/20 22:44
9F：→ hoho8: 氣象局有資料開放平台，直接用json取值比較快啦 11/21 05:34
10F：→ eecheng87: 感謝各位的意見，我再試試 11/21 08:47
11F：→ dennisxkimo: 不一定要找出api來源 有api的call api比較有效率而已 11/21 15:59
12F：→ dennisxkimo: 關鍵字 python webdriver ajax google一下吧 11/21 16:01
13F：→ dennisxkimo: 模擬瀏覽 爬資料 與 直接拿到資料的分別而已 11/21 16:02
14F：→ a9301040: 你找錯地方了，找中央氣象局 opendata，有api可以串， 11/22 11:50
15F：→ a9301040: 很容易 11/22 11:50
16F：→ dennisxkimo: 原po表示練習 猜他不是真的要資料而是這類網頁如何 11/22 19:54
17F：→ dennisxkimo: 取 11/22 19:54
18F：→ blc: 開 selenium 吧。 11/24 06:26
19F：→ blc: 要資料的話請找opendata，要從網頁抓資料的話請用 selenium 11/24 06:29
20F：推 ilove0618: 他是動態產生的，之前爬過一次樓上說的ajax那些搞懂就 11/26 10:38
21F：→ ilove0618: 很好爬了 11/26 10:38