作者ginseng21 (SweetCow)
看板R_Language
标题[问题] 读取JSON 整理表格後输出成CSV
时间Sun Feb 19 01:22:52 2017
[问题类型]:
程式谘询(我想用R 做某件事情，但是我不知道要怎麽用R 写出来)
效能谘询(我想让R 跑更快)
[软体熟悉度]:
入门(写过其他程式，只是对语法不熟悉)
[问题叙述]:
我想要从建管Open Data平台上捞出新北市板桥区的使用执照
然後依照每个地址展开表格，希望得到每个地址後面有对应的基本资料
之後再将表格输出为CSV档案
平台提供的介接服务一次只能传回100笔资料，而每一笔资料会有1~多笔地址
我只有想到两个for回圈的写法，不晓得是否能用lapply写来提升效能???
而尝试过後发现这样表格会太大张
因此我改成将每笔地址与对应的ID输出一份CSV档案
每个基本资料与对应的ID再输出成另一份CSV档案
我在尝试的过程中，有一段使用rbind.data.frame会错，但使用rbind.pages却成功
也想要请教rbind.data.frame错误的原因???
介接服务网址:
http://building-apply.publicwork.ntpc.gov.tw/opendata/
OpenDataSearchUrl.do?d=OPENDATA&c=BUILDLIC
&%E9%96%80%E7%89%8C.%E8%A1%8C%E6%94%BF%E5%8D%80=%E6%9D%BF%E6%A9%8B%E5%8D%80
&Start=1
介接说明:
http://mcgbm.taichung.gov.tw/opendata/docs/a1.html
[程式范例]:
url <-'
http://building-apply.publicwork.ntpc.gov.tw/opendata/
OpenDataSearchUrl.do?d=OPENDATA&c=BUILDLIC
&%E9%96%80%E7%89%8C.%E8%A1%8C%E6%94%BF%E5%8D%80=%E6%9D%BF%E6%A9%8B%E5%8D%80
&Start='
urltmp <- list()
datatmp <- list()
addreall <- list()
info <- list()
st1 = Sys.time();
for( i in 1:10) #假设资料是1000笔以内
{
st = Sys.time();
urltmp [i] <- paste(url,(i-1)*100+1,sep="")
# 将每个介接网址用LIST储存
# 介接网址的Start=可以控制从第几笔资料开始提供100笔
datatmp <- as.data.frame(fromJSON(urltmp[[i]]))
addre <- datatmp$data.门牌
ID <- datatmp$data._id
for (t in 1:100)
{addre[[t]]$ID <-ID[t,]}
#将每一笔的门牌串上ID
addreall[[i]] <- do.call(rbind.data.frame, addre)
info[[i]] <- as.data.frame(datatmp[,1:27])
# 1:27列是基本资料
# 将每笔资料的门牌合并後用LIST储存
# 将每笔资料的基本资料用LIST储存
ed = Sys.time();
print(ed-st)
print(i)
}
all <- do.call(rbind.data.frame, addreall)
infotmp <- rbind.pages(info)
# 将回圈内的储存的LIST合并，准备输出
# info这一段我用rbind.data.frame都会跳出错误 错误讯息如下
infoall <- cbind(infotmp[,1],infotmp[,2:27])
# 这一段不用cbind处理的话，输出的ID那列会出问题。不晓得ID那列的格式是否不同
write.csv(all,"address.csv",row.names=F,quote=F)
write.csv(infoall,"info.csv",row.names=F,quote=F)
# 输出CSV档案
ed1 = Sys.time();
print(ed1-st1)
----------------------------------
rbind.data.frame的错误讯息
Error in `row.names<-.data.frame`(`*tmp*`, value = value) :
duplicate 'row.names' are not allowed
In addition: Warning message:
non-unique values when setting 'row.names': ......
[环境叙述]:
R version 3.3.0 (2016-05-03)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows >= 8 x64 (build 9200)
locale:
[1] LC_COLLATE=Chinese (Traditional)_Hong Kong SAR.950
[2] LC_CTYPE=Chinese (Traditional)_Hong Kong SAR.950
[3] LC_MONETARY=Chinese (Traditional)_Hong Kong SAR.950
[4] LC_NUMERIC=C
[5] LC_TIME=Chinese (Traditional)_Hong Kong SAR.950
attached base packages:
[1] stats graphics grDevices utils datasets methods base
loaded via a namespace (and not attached):
[1] tools_3.3.0
[关键字]:
rbind, rbind.data.frame, data.table, do.call, lapply
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.230.115.220
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1487438576.A.054.html