作者PyTorch (屁眼火炬)
看板DataScience
标题[问题] linear regression 的feature选用问题
时间Sat Mar 24 02:03:55 2018
如题
请教一下
linear regression的model在feature选用上有可能
只用上feature的 x ** 2项 而不用x项效果会更好吗?
因为我看宏毅老师的投影片好像都是
先用 x , 再加用x ** 2, 再加 x *** 3, ...
直到overfitting发生
那有可能是只用x ** 2, 而不用x 会效果更好吗?
还是说overfitting只会发生在高次方项?
因为我想到若x存在负数，那只选用x**2当fearture而不用x也许会比较好?
先谢谢各位愿意看完我冗长的问题
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.136.51.242
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1521828238.A.606.html
1F：推 goldflower: 你是想说y存在负数吗? 不然x负数好像没啥问题 03/24 02:27
2F：→ hsnuyi: 动能 Ek = 1/2*mv^2, 你有Ek与v 你觉得这样要如何fit? 03/24 02:27
3F：→ goldflower: 如果是的话其实你的bias就会调整这边了 03/24 02:27
4F：→ goldflower: 另外就是你的方程式画出来会怪怪的 03/24 02:28
5F：→ goldflower: 喔喔没事楼上那句当我没说 03/24 02:29
6F：推 goldflower: 应该是说 你如果x^2就很棒 那就搭配bias解就好 03/24 02:33
7F：→ goldflower: 只不过你多放一个x进去 要是他没啥贡献他系数就会小 03/24 02:33
8F：→ goldflower: 所以没必要特别把较不复杂的basis function拿掉 03/24 02:34
9F：→ PyTorch: 谢谢楼上各位，想再问没啥贡献的不会因此overfitting吗? 03/27 19:27
10F：推 goldflower: 你可以想像一下 你先画一个复杂到fit所有点的曲线 03/27 22:42
11F：→ goldflower: 接下来你把一次项加进去 你会很自然地发现他没办法 03/27 22:42
12F：→ goldflower: 对overfitting这件事贡献太多 不过这只是一个想法 03/27 22:43
13F：→ goldflower: 如果要用数学去证明这件事我还真不会QQ" 03/27 22:43