作者ruthertw (督人无数就是我)
看板Soft_Job
标题[请益] 为什麽现在新的深度学习模型都很少割出te
时间Sat Aug 14 16:12:05 2021
"为什麽现在新的深度学习模型都很少割出test dataset?"
在进行实验的时候,
发现近三年来的研究工作,
很多都没有切割test dataset,
论文里也没有列出test dataset的实验结果.
反而都直接以validation dataset包含test dataset.
比例也从以往常用 train:val:test = 8:1:1 (7:2:1)
变成 train:val = 8:2
很多学校里的指导教授还是要求要使用8:1:1这个铁比例.
为什麽现在新的深度学习模型都很少割出test dataset?
这些新模型其实只是举手之劳就可以做这到件事,
而且按照指导教授的要求,
论文里要是没有test dataset的实验结果,
应该是不能被刊登.
不得其解...
大大们可以详细说明解释这个原因吗?
还有,
想知道指导教授的坚持是对的吗?
先谢谢各位深度学习的高手~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.71.215.133 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1628928727.A.BDC.html
1F：推 yiche: 请问可以条列出几篇有这种情况的ICCV CVPR论文吗？ 08/14 16:26
2F：推 lukelove: 一般的benchmark应该是光data就有分train/test吧 哪有必 08/14 16:39
3F：→ lukelove: 要再把train的一部分拿去切test 08/14 16:39
4F：推 Raymond0710: 有DataScience板 08/14 17:19
5F：推 sooge: 你要相信投上的paper 还是相信你教授的话 08/14 17:32
6F：→ KindWei: 本质上并没有 test ，都看到的ground truth，大家一起调 08/14 18:34
7F：→ KindWei: 分数就好啦，除非像 kaggle，有一个公正方把 test 藏起 08/14 18:34
8F：→ KindWei: 来不给看，大家不要 overfit valid 才有意义 08/14 18:34
9F：推 andy5656: 除非不晓得test set的label 不然有没有切是一样的 08/14 20:51
10F：推 itis0423: 哪些 paper 没有切 test set 啊好奇 08/14 23:06
11F：推 jamfly: 你可以举例你看的文章吗？因为通常都会有公定的benchmark 08/14 23:37
12F：→ jamfly: 来比较分数，不太有可能会有你说的只report validation se 08/14 23:37
13F：→ jamfly: t的成绩 08/14 23:37
14F：推 sooge: 有小型dataset 一载下来就切 train 和test 而已 说到底vali 08/15 00:08
15F：→ sooge: dation 和test 都是不被训练过的资料 本质根本一样用谁去测 08/15 00:08
16F：→ sooge: 哪有什麽差 08/15 00:08
17F：→ sooge: 并不是paper 不切 而是dataset 本身就没切三份 08/15 00:10
19F：→ sooge: 我这篇CVPR paper的室内资料集就是切train和test而已 08/15 00:16
20F：推 sooge: 然後很特别是这篇是从train data 再切validation出来 08/15 00:31
22F：→ sooge: 这篇hawp同样用上面那篇的dataset就没再切validation出来 08/15 00:36
23F：→ sooge: 所以一个validation真的是各种表态 唯一不变的是 人家拿的 08/15 00:38
24F：→ sooge: 那份，你要称validation还是称test 的dataset要拿去当评分 08/15 00:38
25F：→ sooge: 标准的 就绝对不能那下去训练就对了 08/15 00:38
26F：推 DarkIllusion: validation的评估指标参与模型选择 跟test是有差的 08/15 01:10
27F：推 followwar: sooge是国人? 该篇作者都是大陆人耶 08/15 21:28
28F：→ agario: sooge 那篇是没切 val 但原po说的是没切test吧 08/19 20:33