作者harryron9 (兩個世界)
看板Python
標題[問題] pandas處理多個csv找指定的csv
時間Fri Dec 20 13:24:32 2019
假設我現在有例如 AAA001.CSV
AAA002.CSV
.
.
.
AAA020.CSV
每個檔案的格式都一樣 假設有一列叫成功率
我想要尋找成功率最高的CSV 把那個CSV複製到其他資料夾
目前想法是迴圈讀20個檔案 讀出最大值與MAX比 記錄檔名
迴圈完後pandas讀取 寫入到其他資料夾
感覺繞有點多圈 不知道有沒有比較好的方法
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.9.204.56 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1576819474.A.2C8.html
1F：→ Hsins: 沒有，都是不可省略的步驟。你如果覺得要讀兩次檔案，可以 12/20 13:33
2F：→ Hsins: 一次讀入再去篩，不過並不會比較好…吃記憶體而求不會快到 12/20 13:33
3F：→ Hsins: 哪裡去… 12/20 13:33
那如果我每個CSV都是500行
好像可以concat ignore index
之後直接找df.idxmax 用index來決定檔名
不過concat也是要一個一個做 沒比較快的樣子
※ 編輯: harryron9 (101.9.204.56 臺灣), 12/20/2019 13:46:24
4F：→ Hsins: 複雜度一定至少 O(n)，那個遍歷一次的過程是去不掉的。 12/20 13:49
5F：→ Hsins: 你能做精簡的就是比如迴圈時，能不能花更少時間更少空間 12/20 13:50