作者JJabrams (JJ)
看板R_Language
标题[问题] fread 和 未读取资料状态下检查资料
时间Thu Nov 19 11:45:38 2015
[问题类型]:
程式谘询(我想用R 做某件事情，但是我不知道要怎麽用R 写出来)
[软体熟悉度]:
入门(写过其他程式，只是对语法不熟悉)
[问题叙述]:
用R读取大概1.5亿笔5G的csv资料(5 variables)
理论上资料应该是完整没有missing value
想要用fread读取csv档，却遇到下列error:
> raw_data <- fread('all_data.csv')
Read 35.1% of 151308116 rows
Error in fread("all_data.csv") :
Expected sep (',') but new line or EOF ends field 1 on line 55828616 when
reading data: 58
改用 read.csv 就可以顺利读取 (只是花了好久的时间......)
想请问:
1. 为什麽fread读不进来?
2. 有没有办法在不读取资料的状态下, 直接去检查 line 55828616 这边的资料有
没有破损?
谢谢大家!!
[关键字]:
dplyr,fread
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.109.22.191
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1447904741.A.5E4.html
1F：推 celestialgod: fread必须是regular csv 11/19 12:44
2F：→ celestialgod: read.csv没有要求 11/19 12:45
3F：→ celestialgod: 可以用readLines（可以输入特定列）查看 11/19 12:45
4F：→ JJabrams: 请问一下什麽是regular csv? 我google了一下仍然不太懂 11/19 15:52
5F：→ JJabrams: 是只有用"," "\n" """ 这三种区隔的形式吗? 11/19 15:53
6F：→ JJabrams: 我的资料只有,和ㄧ些na 是因为这样无法使用fread吗?thx! 11/19 15:53
7F：→ celestialgod: 基本上，每列,数目相同就是一个regular csv 11/19 17:14
8F：→ celestialgod: ?fread Description第三列就有了 11/19 17:15