作者li70534 (change )
看板R_Language
标题[问题] 用R抓取网路资料
时间Thu May 11 21:44:39 2017
我想要抓取
http://www.twse.com.tw/ch/trading/fund/T86/T86.php中的表格
经检视码确认编码为UTF-8，但其程式码跑出来却是乱码
[软体熟悉度]:
新手(使用R3个月，有将Wush Wu的翻转教室上过一次，知道概念)
[程式范例]:
page.html<-read.html("
http://www.twse.com.tw/ch/trading/fund/T86/T86.php",encoding
= "UTF-8")
version.block<-html_node(page.html,"table border='1' align='center'
style='width:1400px;' id='tbl-sortable-header")
html_text(version.block)
【输出成果】:
> html_text(version.block)
[1] "\n\t\n \xe5阋\xe7哐霅桧驼鈭斗\x98猟\x89\u0080\n\n \n
ENGLISH\xc2í\xa0 \n \xe6鞒\xe6珻隤鏛í\xa0\n Twitter\n
Facebook\n Plurk\n \n\n \n \n 蝺栶\xb8簧瓱\xe6鹁\n
蝬修\xab⒠琔\xe5\x9c\x96\n 蝬修\xab⒡\xb1弡阔\n 霅桧驼蝺函
Ⅳ\n 霅桧驼閰霶\xbd\x99\n \n \n \xe7灜\xe9\x97\x9c菝
\x8b⒠像\xe5阋\n \xe5饬\xe9\x96鹑\xb3殴\xa8篑\xa7\u0080皜祉\xab\x99\n
\xe5腖\xe6珻掸弴\xb3癴ē撠\x8e\n 蝬脰楝鞈殴\xa8箫\x95疟
\xba\x97\n \xe6\x8a厠\xb3乐荦\xe7缷霅咹雯\n 敶梢耯\xe5嘘\xe6軽蝬
\xb2\n 蝚砌\xb8栉硅\xe8\x88桧ē銝剖\xbf阵像\xe5阋\n 鞎∪\x8b⒡
\xaf鯒\xbc侠暺鞇\u0080\x9a\n \n\t\t\t\n \n\n\t\n"
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.159.166.248
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1494510281.A.472.html
1F：→ celestialgod: 有quantmod可以直接拿股票资料，建议不要自己抓 05/11 21:55
2F：→ li70534: 我主要是想确认如何抓取资料，这个网页只是我随便找的而 05/11 22:15
3F：→ li70534: 已 05/11 22:15
4F：→ celestialgod: UTF8在windows上都要经过转换到big5才能正常显示 05/11 22:21
6F：→ li70534: C大，所以我需再将编码转换成BIG5即可吗? 05/11 22:27
7F：→ celestialgod: 恩 05/11 22:39
8F：→ bluecadence: 其实证交所资料不只是股价而已，像这连结其实是三大 05/12 01:07
9F：→ bluecadence: 法人买卖超。然後其实用quantmod抓yahoo台股资料有时 05/12 01:07
10F：→ bluecadence: 候资料不是很乾净(例如放假日也跑出资料栏位，或偶尔 05/12 01:08
11F：→ bluecadence: 成交量很奇怪)，有些股票甚至不在yahoo资料库里面 05/12 01:09
12F：→ li70534: 我就是想说yahoo finance 的资料可能不乾净，所以想说试 05/12 20:30
13F：→ li70534: 试这种方法，只是编码极度麻烦 05/12 20:30
14F：推 bluecadence: 看来yahoo finance已经在刻意挡自动下载历史股价资料 05/19 12:42
15F：→ bluecadence: 这些免费的资料源(包括google finance)甚麽时候被会 05/19 13:17
16F：→ bluecadence: 被中止取消也很难讲。要免费的台股股价历史资料，也 05/19 13:18
17F：→ bluecadence: 许最好的方法只剩下从证交所和柜买中心下载公开资料 05/19 13:19
18F：→ bluecadence: 建立自己的资料库 05/19 13:20
19F：推 Rossi0927: 可以用 get 抓 twse 的 json 资料比readhtm 好 05/19 17:25