作者lattes (逢甲路黑天鹅)
看板Python
标题[问题] csv大量时间数据转换
时间Fri Apr 26 00:29:20 2019
各位大神大家好
小弟是初学的新手 最近拿到一份四百多万笔的时间数据.csv
其时间数据格式大概长这样
A B
1 G1 2018010101
2 G2 2018011101
.......
想请问我想要将时间资讯的栏位转换为
2018-01-01 01:00:00.000
2018-01-11 01:00:00.000
并重新产生一份新的csv
我应该用datetime相关函式去处理
还是单纯按照数据规则去加上 - : 等相关符号土法炼钢处理
先感谢各位大大的答覆
还请指教教学
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.160.208.210
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1556209762.A.C3D.html
1F：→ roccqqck: datatime04/26 00:34
2F：→ roccqqck: 吧04/26 00:34
3F：推 froce: 用pandas读进去，再用apply将其转换成datetime，并传回str04/26 00:47
5F：推 sma1033: 一行一行读，人工split好像也花不了几秒钟?04/26 09:53
6F：推 jiyu520: 你问的应该是效率谁好？ 分别处理一次看处理时间差异04/26 11:13
7F：→ froce: code的量其实应该没啥差，不过速度应该会慢一点。04/26 11:14
8F：→ froce: pandas的处理速度快很多04/26 11:14
9F：→ froce: 而且一行一行处理，还要考量磁碟IO04/26 11:15
10F：→ froce: pandas则是要注意记忆体够不够04/26 11:15
11F：→ benzxa: time 还是 datetime 有个东西可以自订输入 strftime 然後04/26 15:04
12F：→ benzxa: 再转存你要的格式即可04/26 15:04
13F：→ clang: 档案太大的话pandas也有chunk可以用04/26 20:54
14F：→ feeya: 先不要管400万笔 先用前1万笔试试看就好啦04/26 21:48
15F：嘘 yushes920179: Google04/27 13:57
感谢各位大大的回覆意见
过几天有空我再继续试试
乐冰大不用这麽嘘 我就是google过没有明确答案 也查过相关ptt文章问题
或许我的问题可能对你来说很简单吧
占到版面还深感抱歉
※ 编辑: lattes (27.247.226.214), 04/27/2019 15:10:31