作者HakkaChipa (Hakka_Chipa)
看板DataScience
標題[問題] 載入資料記憶體不足問題
時間Fri May 29 17:53:33 2020
版上各位大大好，
最近在進行資料載入時發生記憶體不足的問題(目前電腦記憶體32g),在先前進行資料預處理時有嘗試分批載入進行處理。
但是最近在進行後續模型訓練時又卡關了orz
目前有想到兩種方法，可是不確定該如何運行，再煩請大家多多指教了
(1)分批次進行訓練，想請問有什麼辦法可以分批次從硬碟讀入資料進行訓練嗎
(2)google發現有人說到keras可以直接從硬碟資料輸入訓練，雖然會卡在硬碟IO瓶頸，可是總比沒法訓練好吧？XD
可是該篇文章並沒有明確提到是用什麼方法直接從硬碟讀入資料進行訓練。
字有點多，再請各位大大多多指教了，感恩不盡!
-----
Sent from JPTT on my Samsung SM-N770F.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.233.12.97 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1590746015.A.D43.html
1F：→ ericakcc: 用generator 05/29 18:28
2F：推 kokolotl: Q2用SSD還行 05/29 22:27
4F：→ kokolotl: 好文件不看嗎 05/29 22:28
5F：推 DarkIllusion: 影像資料的話可以試著以壓縮的型式放在記憶體裡 05/30 10:00
6F：→ DarkIllusion: 要組成批次時再解碼回影像 05/30 10:01
7F：→ world4jason: 人家都說記憶體不足了… 05/30 10:02
8F：→ DarkIllusion: 樓上看不懂壓縮是什麼意思 是吧? 05/30 10:03
9F：→ DarkIllusion: 壓縮指的是 譬如將每張影像jpeg的編碼字串放記憶體 05/30 10:06
10F：→ HakkaChipa: 謝謝各位大大的指教，我會再去多研究研究,非常感謝! 05/30 11:40
11F：推 Freddy122: 你要不要先用pretrained好的model抽特徵 05/31 14:45
這次案例使用的是lstm的回歸模型，所以。。哈哈哈
不過之前學習練習的時候有試著用inceptionV3，不過載不進來（？ 不知道是顯卡還是電腦的記憶體問題
12F：→ Freddy122: 再把特徵當input拿去分類器分類 05/31 14:45
※ 編輯: HakkaChipa (118.170.114.216 臺灣), 06/01/2020 02:36:56