作者reallife (ray)
看板Python
標題[問題] python讀取大容量csv檔方法
時間Sun Mar 29 18:55:41 2020
最近在使用python處理一個大容量（幾GB）的csv檔，但卻會顯示記憶體不足的錯誤，我google一下皆是推從 pd.read_csv 加 chunksize option的方法。
想知道還有無其他讀取大容量csv檔的方法？
-----
Sent from JPTT on my iPhone
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.228.13.172 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1585479343.A.98F.html
1F：推 TuCH: 加大ram 03/29 19:48
2F：推 chuchutaro: 用 readline() 一行一行parsing 03/29 20:01
3F：→ swordgun: 試試看這篇文章的？ 03/29 22:46
4F：→ swordgun: 如何用Python在笔记本上分析100GB数据？ - InfoQ 03/29 22:46
6F：→ swordgun: clid=IwAR18R_esGZv0QgQbXwDO_lJe-qPowJxoV0kznzWfTWbnO 03/29 22:46
7F：→ swordgun: eYYsFISlqVNgh4 03/29 22:46
8F：推 ichengshen: 上面這段網址，可以縮減為 03/29 23:36
10F：推 yiche: hdf5 03/30 01:58
11F：推 Starcraft2: 上面講的Vaex好酷 學習了... 03/30 15:57
13F：推 ariainaqua: Vaex 的 API 讓介接呈現資料變得挺方便！感謝分享 :-) 03/31 15:33