R_Language 板


LINE

※ 引述《Tampa (光芒)》之铭言: : [问题类型]: : 网页爬虫,已找出xpath,但无法制作成data.frame : [软体熟悉度]: : 中新手 : [问题叙述]: : 网页爬虫,想把wiki的球队资讯爬下来 : [程式范例]: : library(magrittr) : library(rvest) : URLteam <- : "https://zh.wikipedia.org/wiki/%E7%BE%8E%E5%9C%8B%E8%81%B7%E6%A5%AD%E6%A3%92%E7%90%83%E5%A4%A7%E8%81%AF%E7%9B%9F" : #网页 : xpathTeam <- "//table[@class='navbox wikitable']/tbody/tr/td[1]"#球队队名的 : xpath : docTeam <- read_html(URLteam, encoding="UTF-8")#将网页读进R : rankTeam<- docTeam %>% : html_nodes(.,xpath = xpathTeam) %>% : html_text %>% : iconv(from = "UTF-8", to = "UTF-8") : stockTmp <- data.frame(team=docTeam) : 以下是我喷错的error : Error in as.data.frame.default(x[[i]], optional = TRUE, stringsAsFactors = : stringsAsFactors) : : cannot coerce class "c("xml_document", "xml_node")" to a data.frame : 问题1: 不知道怎麽了解自己xpath有没有抓对 : 问题2:data.frame是不是有设定错误? 1. 看起来没问题 2. doc_team转成data.frame?? 应该是rankTeam 如果我写会这样写: library(pipeR) library(rvest) library(httr) library(stringi) library(data.table) Sys.setlocale("LC_ALL", 'C') # for windows URLteam <- paste0("https://zh.wikipedia.org/wiki/%E7%BE%8E%E5%9C%8B", "%E8%81%B7%E6%A5%AD%E6%A3%92%E7%90%83%E5%A4%A7%E8%81%AF%E7%9B%9F") rankTeam <- URLteam %>>% GET %>>% content %>>% html_nodes(xpath = "//table[@class='navbox wikitable']") %>>% html_table(fill = TRUE) %>>% `[[`(1) %>>% data.table %>>% `[`( , lapply(.SD, function(x) stri_conv(x, "UTF-8", "BIG5"))) %>>% (setnames(., stri_conv(names(.), "UTF-8", "BIG5"))) Classes 'data.table' and 'data.frame': 32 obs. of 7 variables: # $ 分区 : chr "美国联盟" "东区" "波士顿红袜\nBoston Red Sox" ... # $ 队伍 : chr NA "巴尔的摩金莺\nBaltimore Orioles" ... # $ 区域/城市: chr NA "马里兰州,巴尔的摩\nMaryland, Baltimore" ... # $ 主场 : chr NA "金莺公园\nOriole Park At Camden Yard" " ... # $ 坐标 : chr NA ... # $ 成立时间 : chr NA "1894年" NA NA ... # $ 加入?? : chr NA "1901年" NA NA ... # - attr(*, ".internal.selfref")=<externalptr> 剩下再做一些资料整理就好了,他有一些跨栏的表格 -- R资料整理套件系列文: magrittr #1LhSWhpH (R_Language) http://tinyurl.com/j3ql84c data.table #1LhW7Tvj (R_Language) http://tinyurl.com/hr77hrn dplyr(上) #1LhpJCfB (R_Language) http://tinyurl.com/jtg4hau dplyr(下) #1Lhw8b-s (R_Language) tidyr #1Liqls1R (R_Language) http://tinyurl.com/jq3o2g3 --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.246.31.11
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1469617915.A.267.html ※ 编辑: celestialgod (111.246.31.11), 07/27/2016 23:44:52







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:iOS站内搜寻

TOP