作者stellawang18 (stella)
看板DataScience
標題[問題] imagenet pretrained model accuracy
時間Thu Jul 2 12:05:04 2020
作業系統:win10+colab
問題類別:ML, DL
使用工具:keras
問題內容:
大家好，最近在做圖像分類，約有100k張圖像，問題是一直遇到val_acc上不去的問題，
想詢問有什麼解決辦法，謝謝！
我是使用resnet50的pretrained model，且套用imagenet的weight，因此在最後一層換成
自己的分類器，並只訓練最後一層。
圖像處理部分使用imagedatagenerator，resize至224*224，並加上翻轉、縮放等增強，
以及將pixel scale成0-1之間。
validation則不做增強，只做scale到0-1。
訓練時training accuracy會隨epoch上升至0.5多，但validation永遠只有0.02...。
想到的可能改善方法是
1.換個模型
2.不確定是否一定要用preprocess_input，看了圖像格式和generator是一樣的，應該沒
影響？
是不是我有哪邊少做漏掉了才造成validation這麼低呢？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.242.15.153 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1593662706.A.D6D.html
1F：推 sssh: validation set 怎麼切出來的 ?有沒有imbalance 的問題07/02 14:14
2F：→ sssh: 另外，您的資料集部分利用現在的 augmentation 設定是否合理07/02 14:15
3F：→ sssh: val acc 不動，那 loss 有變動嗎 ? 07/02 14:16
4F：→ sssh: 我覺得 train acc 這樣其實蠻低，有可能是分類器結構的問題07/02 14:17
我是按各類別比例切的，的確是有一類約較少，約500，其他類皆有1500-2500左右，共40
多類，可能算是有一點不平衡，但不確定會不會是最主要的因素。
加入augmentation後的準確率有上升，但我沒有思考過各個augmentation的設定，所以這
也會是一個問題嗎
val loss算是有動，不過變化不大，大概每個epoch會降0.1，但acc幾乎不動，如果是分
類器問題的話，是應該要選再深一點的模型嗎？謝謝！！
※ 編輯: stellawang18 (27.242.15.153 臺灣), 07/02/2020 18:38:32
5F：推 truehero: 先用兩類試試吧 如果data沒問題 通常是loss寫錯或超參 07/02 20:39
6F：→ truehero: 數不對07/02 20:39
我用兩類試了，training acc約0.9，validation acc有到0.5，但後來降到0.48
data算是有些noise，但主要是不曉得為何training和validation結果差很多
7F：推 min86615: 這資料量不要用pretrain了07/02 23:59
是因為資料量太多嗎，我一開始也沒有用pretrain，是有人推薦我用的，雖然training結
果變好，但反而validation變很差
※ 編輯: stellawang18 (27.242.15.153 臺灣), 07/03/2020 00:21:58
※ 編輯: stellawang18 (27.242.15.153 臺灣), 07/03/2020 00:23:36
※ 編輯: stellawang18 (27.242.15.153 臺灣), 07/03/2020 00:25:29
8F：→ min86615: 你要pretrain試試看Adam lr調大資料分布不太一樣，lr 太 07/03 06:48
9F：→ min86615: 小影響不大，我是建議不要load pretrain啦 07/03 06:48
了解！我再試試不用pretrain，謝謝你！！
10F：推 ballislife: 碰到過類似的問題，當時是因為BN的moving mean/var還07/03 08:02
11F：→ ballislife: 沒有收斂，特別是當BN的momentum較大的時候07/03 08:02
12F：→ ballislife: 把BN的momentum調小試試，或是多train幾個epoch讓其07/03 08:04
13F：→ ballislife: 收斂07/03 08:04
是指調pretrain內的BN嗎？
※ 編輯: stellawang18 (39.11.129.250 臺灣), 07/04/2020 00:25:47
14F：推 ballislife: 是的 07/04 03:26
原來！沒有想到調BN！找到方向了，我再研究看看，非常謝謝你！
※ 編輯: stellawang18 (39.11.129.250 臺灣), 07/04/2020 12:35:02
15F：推 dogppatrick: 如果你是在弄蝦皮那個 我推薦effiectnet / xception 07/06 11:06
對~！雖然結束了但會再試試你推薦的方法，真是實作才知道自己能力多不足，謝謝你！
！
※ 編輯: stellawang18 (39.11.129.250 臺灣), 07/06/2020 21:39:16
※ 編輯: stellawang18 (39.11.129.250 臺灣), 07/06/2020 21:39:40