作者filialpiety (filialpiety)
看板DataScience
標題[問題] keras: zero trainable params
時間Thu Dec 22 22:12:38 2022
Keras: Zero trainable params
使用工具: GOOGLE COLAB
小弟目前在練習semi GAN ，目前feature extraction和feature selecion都做完了，想
說利用optuna 訓練semi GAN的discriminator看看能不能進行分類預測
不過現在碰到以下問題，但是很尷尬是我不知道這樣是能定義甚麼類型問題，也不知道怎
麼解決，但很肯定是discriminator訓練失敗
請問我該如何解決呢??
感謝
以下醜醜的程式碼
https://i.imgur.com/VLznoe5.jpeghttps://i.imgur.com/mf6WwIr.jpeghttps://i.imgu
r.com/1VCHkJP.jpeghttps://i.imgur.com/qpC9W5D.jpeghttps://i.imgur.com/MXb7mxn.
jpeghttps://i.imgur.com/IgOSVTM.jpeghttps://i.imgur.com/SiWQDai.jpeghttps://i.
imgur.com/3dT6NBW.jpeghttps://i.imgur.com/xyPFTEp.jpeghttps://i.imgur.com/LhFK
P9c.jpeghttps://i.imgur.com/mEvkQtC.jpeghttps://i.imgur.com/CfMc2rV.jpeghttps:
//i.imgur.com/Qq2bfUf.jpeghttps://i.imgur.com/IWOPNA9.jpeg
-----
Sent from
PttX on my iPhone
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.166.116.202 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1671718360.A.C7E.html
1F：→ chang1248w: 你的discriminator_n_layer是怎麼來的？ 12/22 23:48
2F：→ chang1248w: summary 能跑就代表autograph 是正常運作的 12/22 23:51
3F：→ chang1248w: 我只想到2個可能，1是你動到discriminator.trainable 12/22 23:56
4F：→ chang1248w: 2是你在建立weight 的時候沒有用到tf.Variable，所以 12/22 23:56
5F：→ chang1248w: tensorflow把它當tf.constant處理 12/22 23:56
6F：→ chang1248w: 還有第三種是呼叫model的時候餵了trainable=False 12/22 23:59
7F：→ chang1248w: 不過你把discriminator 拆的這麼徹底.... 12/22 23:59
8F：→ chang1248w: 最粗暴的解法就是 keras.Model.trainable =True 12/23 00:01
9F：→ chang1248w: 手動去歷遍layer weight也可以 12/23 00:02
10F：→ filialpiety: 感謝 12/23 19:13
11F：→ filialpiety: discriminator_n_layer是tuning的其中一個目標 12/23 19:13
12F：→ filialpiety: trainable = false 則是照書上寫的來做 12/23 19:13
13F：→ filialpiety: 也想請問一下有沒有tf Variable 的範例？我看到滿 12/23 19:13
14F：→ filialpiety: 多人這樣寫的說 12/23 19:13
15F：→ filialpiety: ，不過不知道怎麼下手來改？ 12/23 19:13
16F：→ chang1248w: 把variable.trainable設成false當然就會辨識為 12/23 21:15
17F：→ chang1248w: non trainable parameters 啊... 12/23 21:16
18F：→ chang1248w: 你的那本書應該有說tuning的時候最後面幾層不要 12/23 21:20
19F：→ chang1248w: freeze，或者加層linear 12/23 21:21
20F：→ filialpiety: 感謝～我現在把trainable改true後，non-trainable 12/24 05:26
21F：→ filialpiety: params明顯減 12/24 05:26
22F：→ filialpiety: 少許多，不過discriminatior 的performance 一樣0. 12/24 05:26
23F：→ filialpiety: 0 12/24 05:26
24F：→ filialpiety: 書上沒有做tuning，而是直接針對minst 資料集給nn 12/24 05:26
25F：→ filialpiety: 固定結構；tun 12/24 05:26
26F：→ filialpiety: ing 部分是我如法炮製改的，資料則是餵實驗室清乾 12/24 05:26
27F：→ filialpiety: 淨的資料，目前 12/24 05:26
28F：→ filialpiety: ensemble ML效果還可以，想說用semi GAN看看能不能 12/24 05:26
29F：→ filialpiety: 提升預測力， 12/24 05:26
30F：→ filialpiety: 不過明顯影我技術有問題，效果也不好。想請問deep 12/24 05:26
31F：→ filialpiety: 在處理結構資料 12/24 05:26
32F：→ filialpiety: 還有哪幾招可以試？ 12/24 05:26
33F：→ chang1248w: 啥用途? 12/25 01:16
34F：→ filialpiety: 目前是做supervised learning、semi supervised 應 12/26 14:55
35F：→ filialpiety: 該沒望了 12/26 14:55
36F：→ filialpiety: 論文用途～～ 12/26 14:56
37F：→ chang1248w: 找題目的意思？ 12/27 14:40
38F：→ filialpiety: 題目已經確定了！資料也清乾淨，只是現在在訓練分 12/28 17:43
39F：→ filialpiety: 類器；ML的scri 12/28 17:43
40F：→ filialpiety: pt 差不多了！想說弄DL分類器看看，讓自己就業有點 12/28 17:43
41F：→ filialpiety: 競爭力 12/28 17:43
42F：→ filialpiety: 畢竟上個實驗室有要求我做DL、花了一年時間看一堆p 12/28 17:43
43F：→ filialpiety: aper還有課程 12/28 17:43
44F：→ filialpiety: 。如果DL做不出來我也認了XD 反正DL對硬體要求很高 12/28 17:43
45F：→ filialpiety: ，也不見得適 12/28 17:43
46F：→ filialpiety: 合每個議題 12/28 17:43
47F：→ chang1248w: dl強在把先驗知識融入模型的靈活度 12/29 00:59
48F：→ chang1248w: 如果你的資料就是幾個數值型的欄位，那一般是比不過 12/29 01:01
49F：→ chang1248w: ml的方法 12/29 01:01
50F：→ filialpiety: 先驗知識和後驗知識？！我查一下後不太了解，請問 12/29 15:30
51F：→ filialpiety: 這部分是在大學 12/29 15:30
52F：→ filialpiety: 哪個科目內呢？我常常看到先驗機率和後驗機率跟 12/29 15:30
53F：→ filialpiety: 您提的是不是有 12/29 15:30
54F：→ filialpiety: 關係？ 12/29 15:30
55F：→ chang1248w: 我個人是理解為資料以外的知識 12/30 14:22
56F：→ chang1248w: 先/後驗分佈是貝氏統計的部分 12/30 14:22
57F：→ chang1248w: 應該沒什麼關係 12/30 14:23