作者ruthertw (督人无数就是我)
看板DataScience
标题[问题] 为什麽现在新模型都很少割出test data?
时间Sat Aug 14 15:58:46 2021
文章分类提示:
test dataset
- 问题: 当你想要问问题时，请使用这个类别。
为什麽现在新模型都很少割出test data?
可以试着把程式码用网站贴出来唷 https://pastebin.com/
(如果用不到以下框架，如观念问题请自行视情况删除作业系统,使用工具等项目)
Github上很多
作业系统:(ex:mac,win10,win8,win7,linux,etc...)
Ubuntu
问题类别:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
test dataset
使用工具:(ex:python,Java,C++,tensorflow,keras,MATLAB,etc...)
PyTorch/Tensorflow
问题内容:
在进行实验的时候,
发现近三年来的研究工作,
很多都没有切割test dataset,
论文里也没有列出test dataset的实验结果.
反而都直接以validation dataset包含test dataset.
比例也从以往常用 train:val:test = 8:1:1 (7:2:1)
变成 train:val = 8:2
很多学校里的指导教授还是要求要使用8:1:1这个铁比例.
为什麽现在新模型都很少割出test dataset?
这些新模型其实只是举手之劳就可以做这到件事,
而且按照指导教授的要求,
论文里要是没有test dataset的实验结果,
应该是不能被刊登.
不得其解...
大大们可以详细说明这个原因?
还有,
想知道指导教授的坚持是对的吗?
谢谢~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.71.215.133 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1628927928.A.125.html
※ 编辑: ruthertw (111.71.215.133 台湾), 08/14/2021 16:01:43
1F：推 wtchen: 资料集规模（相对於模型维数）很大吗？若是很大还有可能 08/14 23:41
2F：→ wtchen: training/validation/test分开 08/14 23:42
3F：→ wtchen: 若是不够就只能拆成training/test，甚至用交叉验证硬干 08/14 23:44
4F：推 patrick2dot0: 有看到你在八卦跟soft_job也有po 哈哈 08/15 00:20
5F：→ patrick2dot0: 欢迎来到datascience板 08/15 00:21
6F：推 polie4523: 个人浅见，有错请多指教。我觉得以”研究”的角度，用v 08/15 02:24
7F：→ polie4523: alidation调整参数看泛化能力就好了，实务上真的要应用 08/15 02:24
8F：→ polie4523: 模型才需要看test，因为这才是乾净可信能应用在未知资 08/15 02:24
9F：→ polie4523: 料的指标。若是研究，反正也没真的要拿来用，通常看val 08/15 02:24
10F：→ polie4523: idation就可以知道大概的泛化能力，然後跟其他模型比较 08/15 02:24
11F：→ polie4523: ，验证该论文提出的方法是否能造成改变。 08/15 02:24
12F：→ polie4523: 我的指导教授（非本科系）也很坚持要切test，但通常学 08/15 02:31
13F：→ polie4523: 校研究用的资料量都很少，模型泛化能力一定很差，就算 08/15 02:31
14F：→ polie4523: 真的test分数很高好了，但test资料很少可能不到100笔， 08/15 02:31
15F：→ polie4523: 那就有可能是sample的样本跟training很像所以分数很高 08/15 02:31
16F：→ polie4523: ，而我完全不能相信test结果，天底下哪有这麽好的事 08/15 02:31
17F：推 polie4523: 我是认为资料量少的时候不用切test，反正结果variance 08/15 02:41
18F：→ polie4523: 会很大，例如今天你第一次看test准确率有50%，然後你再 08/15 02:41
19F：→ polie4523: 取得新的资料测一次（如果按照那个比例的话）会发现准 08/15 02:41
20F：→ polie4523: 确率80% 所以说这种不准的数据干嘛测？拿去给模型训练 08/15 02:41
21F：→ polie4523: 还比较不浪费。 08/15 02:41
22F：推 r40491101: 正常资料集少，都会用k-folder 08/15 04:10
23F：→ r40491101: 基本上应该都会切成三个group，想问下是哪一篇论文呢？ 08/15 04:12
24F：→ y956403: 如果test set是自己切 然後report在paper上的时候选在 08/15 12:26
25F：→ y956403: test set上最好的perf 这样不就变成val set了吗 08/15 12:26
26F：推 sxy67230: 传统机器学习观点validation set是用在模型选择上，因 08/15 17:45
27F：→ sxy67230: 为你需要配置最优超参数，而这个如果用测试集做就有点作 08/15 17:45
28F：→ sxy67230: 弊倾向。 08/15 17:45
29F：→ followwar: 先说是那些研究工作这样做? 08/15 22:09
30F：推 agario: 你说的新模型到底是哪些 08/19 20:32
31F：→ agario: 举个例子看看？ 08/19 20:32
32F：→ VIATOR: 没有test set, out-of-sample error可能会很高 09/06 08:44
33F：→ VIATOR: 一堆研究在乱搞,做出看似很漂亮的数据,实际应用就破功 09/06 08:46
34F：推 morisontw: 拿validation当test真的是作弊 10/12 16:03
35F：推 stja: 11/06 17:34