作者k5171 (Jess)
看板R_Language
标题[问题] Error in UseMethod("xml_find_all")
时间Sat Feb 4 19:21:07 2017
各位版大好，
首次使用Ｒ爬虫，
尝试其他网页的爬虫都有成功，
唯独此篇的网页一直爬不下来，
尝试多日真的快想破头，
恳请版上大大能帮忙！
[问题类型]:
程式谘询(我想用R 做某件事情，但是我不知道要怎麽用R 写出来)
[软体熟悉度]:
新手(没写过程式，R 是我的第一次)
[问题叙述]:
library(httr)
library(rvest)
etf_url <- "
http://etfdb.com/etfdb-category/high-yield-bonds/"
首先想爬这个表格就尝试了几个方法：
# Definitive List Of High Yield Bonds ETFs
(I)
hyetf <- read_html(etf_url) %>%
html_nodes(xpath = '//*[@id="etfs"]') %>%
html_table()
==> hyetf 显示为 list()
(II)
etf <- content(GET(etf_url), as = "text", encoding = "UTF-8")
hyetf <- etf %>%
html_nodes(xpath = '//*[@id="etfs"]') %>%
html_table()
hyetf
==> Error in UseMethod("xml_find_all") :
没有适用的方法可将 'xml_find_all' 套用到 "character" 类别的物件;
hyetf 同样显示为 list()
(III)
想说试试看用爬 <table> tag 的方式，结果却发现找不到 <table> tag 的 list:
hyetftable <- read_html(etf_url) %>%
hyetftable <- read_html(etf_url) %>%
html_nodes("table")
==> {xml_nodeset (0)}
於是不死心决定爬个入门版的最上方大标题试试，结果还是失败了
# 网页顶层大标 High Yield Bond ETFs
(I)
hyetf <- etf %>%
html_nodes(".mm-heading-no-top-margin") %>%
html_nodes("h1") %>%
html_text()
==> Error in UseMethod("xml_find_all") :
没有适用的方法可将 'xml_find_all' 套用到 "character" 类别的物件;
hyetf 显示为 character(0)
(II)
hyetf <- read_html(etf_url) %>%
html_nodes(".mm-heading-no-top-margin") %>%
html_nodes("h1") %>%
html_text()
==> hyetf 仍显示为 character(0)
尝试了好几周，真的不确定是哪里缺少什麽，恳请版上大大赐教，感激！
[环境叙述]:
> sessionInfo()
R version 3.3.1 (2016-06-21)
Platform: x86_64-apple-darwin13.4.0 (64-bit)
Running under: OS X 10.11.6 (El Capitan)
locale:
[1] zh_TW.UTF-8/zh_TW.UTF-8/zh_TW.UTF-8/C/zh_TW.UTF-8/zh_TW.UTF-8
attached base packages:
[1] stats graphics grDevices utils datasets
[6] methods base
other attached packages:
[1] httr_1.2.1 Rwordseg_0.2-1 ggplot2_2.2.0
[4] jiebaR_0.9.1 jiebaRD_0.1 tmcn_0.1-4
[7] tm_0.6-2 NLP_0.1-9 rJava_0.9-8
[10] rvest_0.3.2 xml2_1.0.0
loaded via a namespace (and not attached):
loaded via a namespace (and not attached):
[1] Rcpp_0.12.7 magrittr_1.5
[3] munsell_0.4.3 colorspace_1.2-6
[5] R6_2.1.3 stringr_1.1.0
[7] plyr_1.8.4 tools_3.3.1
[9] parallel_3.3.1 grid_3.3.1
[11] gtable_0.2.0 selectr_0.3-0
[13] lazyeval_0.2.0 assertthat_0.1
[15] tibble_1.2 curl_2.1
[17] rsconnect_0.4.3 slam_0.1-40
[19] stringi_1.1.1 scales_0.4.1
[21] XML_3.98-1.5
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.214.198.211
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1486207270.A.8F8.html
1F：→ celestialgod: 我猜应该是要从某个网址设定好header 用GET做query02/04 20:00
2F：→ celestialgod: 这网站架构，我没有弄清楚，只能给一个方向02/04 20:01
3F：→ celestialgod: 有点像是我上次爬得全家网站 (板上某篇文章)02/04 20:01
4F：→ celestialgod: 如果都听不懂，也别来问我，因为我对网站也是一知半02/04 20:05
5F：→ celestialgod: 解... 找专业的询问吧02/04 20:05
7F：→ k5171: 感谢c大,全家那篇很仔细,有用心研究了02/05 15:41
8F：→ k5171: 感谢c大,全家那篇很仔细,有用心研究了02/05 15:41
9F：→ k5171: 仅有一个小提问，关於您code中的02/05 15:44
10F：→ k5171: tables <- sapply(1:7, function(i){02/05 15:44
12F：→ k5171: 1-", i, ".html") %>>%02/05 15:45
13F：→ k5171: GET %>>% content %>>% xml_find_all("//table//table") %>02/05 15:46
14F：→ k5171: >% '[['(2) %>>%02/05 15:47
15F：→ k5171: xml_find_all("tr") %>>% lapply(function(node){02/05 15:47
16F：→ k5171: xml_find_all(node, "td") %>>% xml_text %>>%02/05 15:47
17F：→ k5171: stri_conv(from = "UTF-8", to = "Big5")}) %>>%02/05 15:48
18F：→ k5171: do.call(what = rbind) %>>% `colnames<-`(.[1,]) %>>%02/05 15:48
19F：→ k5171: '['(2:nrow(.), )}02/05 15:48
20F：→ k5171: 其中的'[['(2)；`colnames<-`(.[1,])；'['(2:nrow(.), )02/05 15:50
21F：→ k5171: 何时需在[旁加', 何时用`；以及（.[1,])与nrow(.)的.为何？02/05 15:53
22F：→ clansoda: '[['(2)表list第二个项目, .是表pipe line里面前一个02/05 16:56
23F：→ clansoda: pass过来的值 例如 X %>% now(.) .表示X02/05 16:57
24F：→ celestialgod: 不用深究程式，你知道怎麽爬就好XD02/05 17:36
25F：→ celestialgod: 研究这些的时间不如好好研究你那个网站架构02/05 17:36
26F：→ celestialgod: 重点在怎麽取得那些query网址，要去观察browser的动02/05 17:46
27F：→ celestialgod: 作，这是程式码看不到的02/05 17:46
28F：→ celestialgod: 先去想我怎麽从原问题的网址找到要用GET的网志02/05 17:47
29F：→ k5171: 了解，感谢两位大大！请问 GET inquiry 是否只适用需点击02/05 23:05
30F：→ k5171: 查询的网页？（像是全家的网页需要输入邮递区号才会显示02/05 23:05
31F：→ k5171: 查询的网页？（像是全家的网页需要输入邮递区号才会显示02/05 23:05
32F：→ k5171: 资料）02/05 23:05
33F：推 andrew43: 小女是指您女儿。02/06 04:40
34F：→ clansoda: XDDDD andrew大不讲 我根本没看到 所以应该是小女子罗02/06 09:05
35F：→ celestialgod: 可以用小妹?!02/06 09:22
36F：→ celestialgod: 全家那个是按地图时会有查询的网址，浏览器可以抓到02/06 09:23
37F：→ celestialgod: 这个行为02/06 09:23
38F：→ celestialgod: 你那个网站大概也是要找到那个查询网址，不过可能要02/06 09:25
39F：→ celestialgod: 在他的js code找02/06 09:25
※ 编辑: k5171 (49.214.198.211), 02/06/2017 12:22:07
40F：推 memphis: andrew43 厉害喔 我们看太多都自动忽略掉了 02/06 13:47
41F：→ celestialgod: 楼上也喜欢自称小女吗XDD 02/06 14:04