作者wang19980531 (中立评论员)
看板DataScience
标题[讨论] 发现模型开始过拟合，开发者能做什麽
时间Sat Oct 10 19:57:06 2020
一般用验证集和训练集的accuracy，
就能看出这个模型是不是往overfitting的方向发展，
这时开发者能做什麽？
(1) 停止训练
(2) 加入dropout 或是 dropblock等增加训练乱数
(3) 在每一次的gradient加入error feedback
还有其他方法吗？
有没有关於(3)方法的应用呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.216.131.205 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1602331028.A.516.html
1F：推 min86615: 可是3的方法应该有一些疑虑，如果给error feedback有点 10/10 20:10
2F：→ min86615: 作弊的感觉，毕竟希望验证是能部份模拟现实情况，没看过 10/10 20:10
3F：→ min86615: 资料的状况下做判断。而且通常验证也会割比较少，不如看 10/10 20:10
4F：→ min86615: 验证出来预测错误的地方加上什麽架构可以有效修补。 10/10 20:10
5F：推 geminitw: 有加batch normalization? 减少model complexity 10/10 22:11
6F：推 geminitw: Learning rate decay 10/10 22:15
7F：推 wtchen: 第一个你要确定是不是真的overfitting 10/10 23:29
8F：→ wtchen: （验证集accoracy先降後升） 10/10 23:29
9F：→ wtchen: 然後确定样本分布够均匀（做交叉验证） 10/10 23:30
10F：→ wtchen: 有时候就是训练样本多样性不够或是没好好打散 10/11 00:16
11F：→ wtchen: 再来就是加点regularization项牵制，以稍微增加偏差 10/11 00:18
12F：→ wtchen: 的方式换得"大幅"增加误差（要谨慎取舍） 10/11 00:19
13F：→ wtchen: 减少 10/11 00:20