作者reallife (ray)
看板Python
标题[问题] python读取大容量csv档方法
时间Sun Mar 29 18:55:41 2020
最近在使用python处理一个大容量（几GB）的csv档，但却会显示记忆体不足的错误，我google一下皆是推从 pd.read_csv 加 chunksize option的方法。
想知道还有无其他读取大容量csv档的方法？
-----
Sent from JPTT on my iPhone
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.228.13.172 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1585479343.A.98F.html
1F：推 TuCH: 加大ram 03/29 19:48
2F：推 chuchutaro: 用 readline() 一行一行parsing 03/29 20:01
3F：→ swordgun: 试试看这篇文章的？ 03/29 22:46
4F：→ swordgun: 如何用Python在笔记本上分析100GB数据？ - InfoQ 03/29 22:46
6F：→ swordgun: clid=IwAR18R_esGZv0QgQbXwDO_lJe-qPowJxoV0kznzWfTWbnO 03/29 22:46
7F：→ swordgun: eYYsFISlqVNgh4 03/29 22:46
8F：推 ichengshen: 上面这段网址，可以缩减为 03/29 23:36
10F：推 yiche: hdf5 03/30 01:58
11F：推 Starcraft2: 上面讲的Vaex好酷 学习了... 03/30 15:57
13F：推 ariainaqua: Vaex 的 API 让介接呈现资料变得挺方便！感谢分享 :-) 03/31 15:33