作者hsuchengmath (AlbertHSU)
看板DataScience
標題[問題]
時間Sat Mar 19 22:14:24 2022
ctrl + y 可以刪除一整行，請將不需要的內容刪除
文章分類提示:
- 問題: 當你想要問問題時，請使用這個類別。
- 討論: 當你自己已經有答案，但是也想聽聽版友意見時。
- 情報: 當你看到消息時，請使用這個類別。
根據板規規定，做適當的轉換，以及摘錄重要文意。
- 心得: 當你自己想要分享經驗時，請使用這個類別。
(回答並非義務，所以當有人回答時，哪怕句謝謝也好，多多回應，大E可編輯文章)
可以試著把程式碼用網站貼出來唷 https://pastebin.com/
(如果用不到以下框架，如觀念問題請自行視情況刪除作業系統,使用工具等項目)
問題類別: ML
問題內容:
各位大神、大大好，想問一下大家 label smoothing為什麼能改善overfitting的發生？
我在各文章 主要看到的說法是一般的hard label (one hot), 可能造成模型過於自信（o
ver confidence） 使得 在預測test data時，表現差（not robust ）。因此，如果使用
soft label ，較能能避免這種狀況。
使用soft label 能避免overfit 的說法，沒有很能體悟，所以想請各位大神、大大開導
。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.218.35.172 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1647699266.A.1D2.html
※ 編輯: hsuchengmath (124.218.35.172 臺灣), 03/19/2022 22:15:25
1F：→ hsnuyi: 拿社會舉例 如果教育孩童 世上只有黑與白 會發生啥? 03/20 00:28
2F：推 wuyiulin: 你去看一下 GMM 可以解決 KNN 什麼問題 大概那種感覺 03/20 14:26
3F：推 wang19980531: soft clustering 03/20 23:24
4F：→ yoche2000: 假設我判定一個東西是 A 70% B 30% 03/21 15:15
5F：→ yoche2000: 如果 hard label 就只會標A Soft 會標A和B和比利的話 03/21 15:16
6F：→ yoche2000: 這樣在feed回去前者只會得到A的資訊 03/21 15:16
7F：→ yoche2000: 而後者會有一個模糊的可能性和機率 03/21 15:17
8F：→ yoche2000: 後者可以想成模糊正確 為了 generlization 放棄一點acc 03/21 15:18