作者zcxcxc20002 (凌晨是我)
看板Web_Design
標題[問題] 爬動態資料問題
時間Mon Mar 2 14:30:25 2015
各位大大大家好，
爬網頁資料很常被用來做一些資料搜集或整理上，
以前不管是使用DOM的比對或者是Regex來處理都還好處理，
但自從很多網頁開始使用動態載入資料之後，原本的做法變得不可行。
不知道版有大大有沒有相關資訊可以用來解決這樣的問題？
是否要透過不一樣的技術來搜集資料。？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.122.184.47
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Web_Design/M.1425277832.A.91F.html
1F：推 mmis1000: phantom js 03/02 15:52
2F：→ mmis1000: 要不然就自己解出ajax的網站模擬request 03/02 15:53
3F：→ mmis1000: 現在瀏覽器的開發者工具都有看request的功能 03/02 15:54
4F：→ guanting886: phantom +1，不過早期都是用C#+WebBrowser硬幹 03/02 22:37
6F：→ zcxcxc20002: 謝謝各位大大提供，我也都用Ｃ＃抓比較多 03/03 11:33
7F：→ slamgundam: 想問phantomjs可以操作linux換IP嗎～? 03/04 09:36
8F：→ mmis1000: 你可以把他跟其他語言合用？像是nodejs就有phantom的 03/04 12:14
9F：→ mmis1000: bridge，phantom js本身也能單獨拿來當server用 03/04 12:14
10F：→ mmis1000: phantom js本身應該沒那些功能 03/04 12:15
11F：→ slamgundam: Ok，我再研究看看，感謝你～ 03/04 14:02
12F：→ best940070: 寫瀏覽器套件去抓 03/20 23:03