作者ruthertw (督人無數就是我)
看板DataScience
標題[問題] 標記的圖片數據集,樣本個體之間差異性太小
時間Mon May 23 00:21:02 2022
由專業人士標記的數據集,
他們當初深怕樣本之間差異性太大,
(不知為何?)
刻意挑選了類似的母樣本.
結果,
導致他們在母樣本上標記出的圖片數據集,
樣本個體之間差異性太小.
隨便拿一個模型學習,
不進行data augumentation,
test accuracy都能輕鬆超過95%
進行data augumentation後,
有些模型可達到99%
指導教授也同意我的結論,
覺得這樣只是訓練出一個在單一條件下獨斷的分類器,
不能寫什麼研究論述.
想要求專業人士多找些不類似的母樣本,
請他們標記.
他們覺得好累好煩,
標記好花時間,
拼命拒絕,
反問應該有什麼方法能解決這個問題?
我原先提出Few-Shot,Zero-Shot,GAN類,...的模型概念,
建議先嘗試看看輸出結果會如何.
後來在報告後,
雖然這些專家沒提出什麼進一步的想法.
但我突然發現不對,
test accuracy還是會回到原來的問題,
樣本個體之間差異性太小.
怎麼驗證都會有好的結果.
想請問有什麼方法可以解決這個本質上的問題?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.51.13 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1653236464.A.B9A.html
1F：推 ctr1: 自己標記最實在 05/23 00:30
2F：→ chang1248w: semi supervise learning，盧專家每個母體標注一些就 05/23 03:29
3F：→ chang1248w: 好 05/23 03:29
4F：→ chang1248w: 或者你可以試著建模母體間的差異，把多語言翻譯模型 05/23 03:31
5F：→ chang1248w: 的概念斜槓過來(這只是在幹話 05/23 03:31
6F：→ yoyololicon: 沒救 05/23 12:57
7F：推 wuyiulin: 你是用什麼資料集？為什麼會有這個現象 05/23 21:06
8F：→ chang1248w: 你弄不弄得到沒有標記的數據? 05/24 00:10
9F：→ chang1248w: 去看一下semi supervise learning 怎麼和你的任務連 05/24 02:20
10F：→ chang1248w: 結，現在大部分的領域都有辦法做了 05/24 02:20
11F：→ chang1248w: 不過要找一下paper就是 05/24 02:21
12F：→ chang1248w: 這一塊發展的用意就是克服標注昂貴的問題 05/24 02:23
13F：→ chang1248w: 至於標注分佈狹隘得另外克服 05/24 02:26
14F：推 ej0cl6: 也可以看看self-supervised pre-training 05/24 12:06
15F：→ ej0cl6: 拿得到沒標記但是大量的data試試看semi-supervised或是sel 05/24 12:08
16F：→ ej0cl6: f-supervised都有機會變好 05/24 12:08
17F：推 ILYY: self-supervised learning和自己標 05/24 15:23
18F：→ ILYY: 然後請專家再檢查標完的結果 他們可能比較願意 05/24 15:24
19F：→ chang1248w: 感覺他的任務可能是分割類型的，那他的資料量應該沒 05/24 19:40
20F：→ chang1248w: 辦法跑自監督 05/24 19:40
21F：推 goldflower: 但你拿來judge的若都是那個test set你搞這堆有意義嗎 05/25 02:02
22F：→ goldflower: 你至少要拿更符合母體的test set才能去評斷你做的事情 05/25 02:03
23F：→ goldflower: 有沒有用 05/25 02:03
24F：→ ruthertw: 指叫不准我自己標,就算模型標,那些專家也推說很忙,不看. 05/26 00:58
25F：→ wuyiulin: 遇到這種神人教授，只能說你加油啊。 05/26 04:22
26F：→ wuyiulin: 這樣出來的結果感覺就不能發，我這邊看過的論文都是用 05/26 04:24
27F：→ wuyiulin: 嚴謹的資料集去跑的 05/26 04:24
28F：推 wuyiulin: 這樣發出去很容易被 challenge 資料集在亂做吧www 05/26 04:28
29F：→ ruthertw: 目前用比較大的dimension切samples,改成比較小Dimension 05/26 08:28
30F：→ ruthertw: 來切,總數量可以達至少2倍以上.我不指望指叫的誤人子弟! 05/26 08:31
31F：→ yoyololicon: 你現在這些操作都做在test data上？不行吧 05/26 08:53
32F：→ yoyololicon: 不如拿沒標記的raw data跑些unsupervised 的tasks， 05/26 08:54
33F：→ yoyololicon: 至少有東西可以秀 05/26 08:54
34F：→ yoyololicon: 標記很麻煩的話也一定程度代表用unsupervised 比較 05/26 08:56
35F：→ yoyololicon: 合適 05/26 08:56
36F：→ ruthertw: 這幾天重新手動調整採樣比例分配,現階段不使用亂數分配. 05/26 08:56
37F：→ ruthertw: 也按照比例分割母體裡面的samples,希望能有好的結果... 05/26 13:25
39F：→ ruthertw: 想請問微調和改進模型方法和方式,感謝~ 05/31 20:47
40F：→ chang1248w: 找任務sota摟 06/04 20:21
41F：→ ruthertw: 好,謝謝樓上大大的幫忙~ 06/05 12:20
※ 編輯: ruthertw (180.217.243.20 臺灣), 08/19/2022 15:51:10