作者hsuchengmath (AlbertHSU)
看板DataScience
标题[问题]
时间Sat Mar 19 22:14:24 2022
ctrl + y 可以删除一整行，请将不需要的内容删除
文章分类提示:
- 问题: 当你想要问问题时，请使用这个类别。
- 讨论: 当你自己已经有答案，但是也想听听版友意见时。
- 情报: 当你看到消息时，请使用这个类别。
根据板规规定，做适当的转换，以及摘录重要文意。
- 心得: 当你自己想要分享经验时，请使用这个类别。
(回答并非义务，所以当有人回答时，哪怕句谢谢也好，多多回应，大E可编辑文章)
可以试着把程式码用网站贴出来唷 https://pastebin.com/
(如果用不到以下框架，如观念问题请自行视情况删除作业系统,使用工具等项目)
问题类别: ML
问题内容:
各位大神、大大好，想问一下大家 label smoothing为什麽能改善overfitting的发生？
我在各文章 主要看到的说法是一般的hard label (one hot), 可能造成模型过於自信（o
ver confidence） 使得 在预测test data时，表现差（not robust ）。因此，如果使用
soft label ，较能能避免这种状况。
使用soft label 能避免overfit 的说法，没有很能体悟，所以想请各位大神、大大开导
。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 124.218.35.172 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1647699266.A.1D2.html
※ 编辑: hsuchengmath (124.218.35.172 台湾), 03/19/2022 22:15:25
1F：→ hsnuyi: 拿社会举例 如果教育孩童 世上只有黑与白 会发生啥? 03/20 00:28
2F：推 wuyiulin: 你去看一下 GMM 可以解决 KNN 什麽问题 大概那种感觉 03/20 14:26
3F：推 wang19980531: soft clustering 03/20 23:24
4F：→ yoche2000: 假设我判定一个东西是 A 70% B 30% 03/21 15:15
5F：→ yoche2000: 如果 hard label 就只会标A Soft 会标A和B和比利的话 03/21 15:16
6F：→ yoche2000: 这样在feed回去前者只会得到A的资讯 03/21 15:16
7F：→ yoche2000: 而後者会有一个模糊的可能性和机率 03/21 15:17
8F：→ yoche2000: 後者可以想成模糊正确 为了 generlization 放弃一点acc 03/21 15:18