作者PyTorch (屁眼火炬)
看板DataScience
標題[問題] linear regression 的feature選用問題
時間Sat Mar 24 02:03:55 2018
如題
請教一下
linear regression的model在feature選用上有可能
只用上feature的 x ** 2項 而不用x項效果會更好嗎?
因為我看宏毅老師的投影片好像都是
先用 x , 再加用x ** 2, 再加 x *** 3, ...
直到overfitting發生
那有可能是只用x ** 2, 而不用x 會效果更好嗎?
還是說overfitting只會發生在高次方項?
因為我想到若x存在負數，那只選用x**2當fearture而不用x也許會比較好?
先謝謝各位願意看完我冗長的問題
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.51.242
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1521828238.A.606.html
1F：推 goldflower: 你是想說y存在負數嗎? 不然x負數好像沒啥問題 03/24 02:27
2F：→ hsnuyi: 動能 Ek = 1/2*mv^2, 你有Ek與v 你覺得這樣要如何fit? 03/24 02:27
3F：→ goldflower: 如果是的話其實你的bias就會調整這邊了 03/24 02:27
4F：→ goldflower: 另外就是你的方程式畫出來會怪怪的 03/24 02:28
5F：→ goldflower: 喔喔沒事樓上那句當我沒說 03/24 02:29
6F：推 goldflower: 應該是說 你如果x^2就很棒 那就搭配bias解就好 03/24 02:33
7F：→ goldflower: 只不過你多放一個x進去 要是他沒啥貢獻他係數就會小 03/24 02:33
8F：→ goldflower: 所以沒必要特別把較不複雜的basis function拿掉 03/24 02:34
9F：→ PyTorch: 謝謝樓上各位，想再問沒啥貢獻的不會因此overfitting嗎? 03/27 19:27
10F：推 goldflower: 你可以想像一下 你先畫一個複雜到fit所有點的曲線 03/27 22:42
11F：→ goldflower: 接下來你把一次項加進去 你會很自然地發現他沒辦法 03/27 22:42
12F：→ goldflower: 對overfitting這件事貢獻太多 不過這只是一個想法 03/27 22:43
13F：→ goldflower: 如果要用數學去證明這件事我還真不會QQ" 03/27 22:43