logistic regression 如果自己写固定的learning rate 而非使用adam,RMSprop等optimizer learning rate需要蛮精细的调整 我有一个问题想向各位请益 对原本data(feature）的normalize 如何影响learning rate该往上调还是往下调 举例 如果我原本normalize到variance 1.0 用learning rate 10^-4 训练效果不错 那如果我改normalize到variance 0.8 这样learning rate要调更高还是更低好？ 从数学上 data x如果变小 那lr跟gradient 乘积就会变小? 这样应该是要调大learning rate吗? 可是我好像不论怎调都不如原本normalize 到1.0时好 实在是不太明白 先谢谢各位了 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.112.30.37 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1652592132.A.134.html