作者yrabes (亞貝絲)
看板Python
標題[問題] 原始檔內容和網頁所見不同
時間Tue Mar 1 20:58:55 2022
新手 如果問題太簡單請見諒QQ
---
最近在練習用BS抓資料 練習對象是台灣及時水情(
https://water.taiwanstat.com/ )
在測試的過程發現
如果直接按右鍵-->檢視原始碼
在原始碼中會找到新山水庫(基隆) 後面會接7001.1萬立方公尺
但是在網頁中,新山水庫(基隆)的數字沒有一個是7001.1萬立方公尺,
有的數字反而是"有效蓄水量:955.50萬立方公尺"
請問這是什麼原因?
我用BS抓資料 一直抓不到網頁的資料 都是原始碼中的資料
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.20.119.237 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1646139537.A.8A1.html
1F:→ a367560: 不太懂意思 有圖片嗎? 03/01 22:09
2F:→ OrzOGC: 有透過js啦,初學就用selenium吧 03/01 22:39
4F:→ yrabes: 第一張是網頁看到的,第二章有畫紅線則是對應原始碼的地方 03/01 22:51
5F:→ yrabes: @OrzOGC 好的,我再研究看看,感謝你 03/01 22:51
6F:推 lycantrope: request.get就會有你想要的東西了 03/01 22:52
7F:推 g919233: 同上面網友說使用Selenium或Playwright,或去找出它透過 03/02 06:10
8F:→ g919233: 哪個請求去取得這些原始碼沒有的資料 03/02 06:10
10F:→ niceguy: 不難 03/02 19:40
11F:推 crm123: 借這篇問 那種按下搜尋之後 要往下滾原始碼才會跑出來的 03/02 22:13
12F:→ crm123: 要怎麼爬(不能用post 03/02 22:13
13F:推 geniusofgod: 回樓上 selenium 執行js 讓頁面往下滾,等到指定的 03/02 22:28
14F:→ geniusofgod: 內容出現後,再把當下頁面的內容爬回來 03/02 22:28
16F:→ blc: chrome DevTool的network很好用,可以試試。 03/07 22:08