作者ruthertw (督人無數就是我)
看板DataScience
標題[問題] 為什麼現在新模型都很少割出test data?
時間Sat Aug 14 15:58:46 2021
文章分類提示:
test dataset
- 問題: 當你想要問問題時，請使用這個類別。
為什麼現在新模型都很少割出test data?
可以試著把程式碼用網站貼出來唷 https://pastebin.com/
(如果用不到以下框架，如觀念問題請自行視情況刪除作業系統,使用工具等項目)
Github上很多
作業系統:(ex:mac,win10,win8,win7,linux,etc...)
Ubuntu
問題類別:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
test dataset
使用工具:(ex:python,Java,C++,tensorflow,keras,MATLAB,etc...)
PyTorch/Tensorflow
問題內容:
在進行實驗的時候,
發現近三年來的研究工作,
很多都沒有切割test dataset,
論文裡也沒有列出test dataset的實驗結果.
反而都直接以validation dataset包含test dataset.
比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
變成 train:val = 8:2
很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
為什麼現在新模型都很少割出test dataset?
這些新模型其實只是舉手之勞就可以做這到件事,
而且按照指導教授的要求,
論文裡要是沒有test dataset的實驗結果,
應該是不能被刊登.
不得其解...
大大們可以詳細說明這個原因?
還有,
想知道指導教授的堅持是對的嗎?
謝謝~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.215.133 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1628927928.A.125.html
※ 編輯: ruthertw (111.71.215.133 臺灣), 08/14/2021 16:01:43
1F：推 wtchen: 資料集規模（相對於模型維數）很大嗎？若是很大還有可能 08/14 23:41
2F：→ wtchen: training/validation/test分開 08/14 23:42
3F：→ wtchen: 若是不夠就只能拆成training/test，甚至用交叉驗證硬幹 08/14 23:44
4F：推 patrick2dot0: 有看到你在八卦跟soft_job也有po 哈哈 08/15 00:20
5F：→ patrick2dot0: 歡迎來到datascience板 08/15 00:21
6F：推 polie4523: 個人淺見，有錯請多指教。我覺得以”研究”的角度，用v 08/15 02:24
7F：→ polie4523: alidation調整參數看泛化能力就好了，實務上真的要應用 08/15 02:24
8F：→ polie4523: 模型才需要看test，因為這才是乾淨可信能應用在未知資 08/15 02:24
9F：→ polie4523: 料的指標。若是研究，反正也沒真的要拿來用，通常看val 08/15 02:24
10F：→ polie4523: idation就可以知道大概的泛化能力，然後跟其他模型比較 08/15 02:24
11F：→ polie4523: ，驗證該論文提出的方法是否能造成改變。 08/15 02:24
12F：→ polie4523: 我的指導教授（非本科系）也很堅持要切test，但通常學 08/15 02:31
13F：→ polie4523: 校研究用的資料量都很少，模型泛化能力一定很差，就算 08/15 02:31
14F：→ polie4523: 真的test分數很高好了，但test資料很少可能不到100筆， 08/15 02:31
15F：→ polie4523: 那就有可能是sample的樣本跟training很像所以分數很高 08/15 02:31
16F：→ polie4523: ，而我完全不能相信test結果，天底下哪有這麼好的事 08/15 02:31
17F：推 polie4523: 我是認為資料量少的時候不用切test，反正結果variance 08/15 02:41
18F：→ polie4523: 會很大，例如今天你第一次看test準確率有50%，然後你再 08/15 02:41
19F：→ polie4523: 取得新的資料測一次（如果按照那個比例的話）會發現準 08/15 02:41
20F：→ polie4523: 確率80% 所以說這種不準的數據幹嘛測？拿去給模型訓練 08/15 02:41
21F：→ polie4523: 還比較不浪費。 08/15 02:41
22F：推 r40491101: 正常資料集少，都會用k-folder 08/15 04:10
23F：→ r40491101: 基本上應該都會切成三個group，想問下是哪一篇論文呢？ 08/15 04:12
24F：→ y956403: 如果test set是自己切 然後report在paper上的時候選在 08/15 12:26
25F：→ y956403: test set上最好的perf 這樣不就變成val set了嗎 08/15 12:26
26F：推 sxy67230: 傳統機器學習觀點validation set是用在模型選擇上，因 08/15 17:45
27F：→ sxy67230: 為你需要配置最優超參數，而這個如果用測試集做就有點作 08/15 17:45
28F：→ sxy67230: 弊傾向。 08/15 17:45
29F：→ followwar: 先說是那些研究工作這樣做? 08/15 22:09
30F：推 agario: 你說的新模型到底是哪些 08/19 20:32
31F：→ agario: 舉個例子看看？ 08/19 20:32
32F：→ VIATOR: 沒有test set, out-of-sample error可能會很高 09/06 08:44
33F：→ VIATOR: 一堆研究在亂搞,做出看似很漂亮的數據,實際應用就破功 09/06 08:46
34F：推 morisontw: 拿validation當test真的是作弊 10/12 16:03
35F：推 stja: 11/06 17:34