作者filialpiety (filialpiety)
看板DataScience
标题[问题] keras: zero trainable params
时间Thu Dec 22 22:12:38 2022
Keras: Zero trainable params
使用工具: GOOGLE COLAB
小弟目前在练习semi GAN ，目前feature extraction和feature selecion都做完了，想
说利用optuna 训练semi GAN的discriminator看看能不能进行分类预测
不过现在碰到以下问题，但是很尴尬是我不知道这样是能定义甚麽类型问题，也不知道怎
麽解决，但很肯定是discriminator训练失败
请问我该如何解决呢??
感谢
以下丑丑的程式码
https://i.imgur.com/VLznoe5.jpeghttps://i.imgur.com/mf6WwIr.jpeghttps://i.imgu
r.com/1VCHkJP.jpeghttps://i.imgur.com/qpC9W5D.jpeghttps://i.imgur.com/MXb7mxn.
jpeghttps://i.imgur.com/IgOSVTM.jpeghttps://i.imgur.com/SiWQDai.jpeghttps://i.
imgur.com/3dT6NBW.jpeghttps://i.imgur.com/xyPFTEp.jpeghttps://i.imgur.com/LhFK
P9c.jpeghttps://i.imgur.com/mEvkQtC.jpeghttps://i.imgur.com/CfMc2rV.jpeghttps:
//i.imgur.com/Qq2bfUf.jpeghttps://i.imgur.com/IWOPNA9.jpeg
-----
Sent from
PttX on my iPhone
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 218.166.116.202 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1671718360.A.C7E.html
1F：→ chang1248w: 你的discriminator_n_layer是怎麽来的？ 12/22 23:48
2F：→ chang1248w: summary 能跑就代表autograph 是正常运作的 12/22 23:51
3F：→ chang1248w: 我只想到2个可能，1是你动到discriminator.trainable 12/22 23:56
4F：→ chang1248w: 2是你在建立weight 的时候没有用到tf.Variable，所以 12/22 23:56
5F：→ chang1248w: tensorflow把它当tf.constant处理 12/22 23:56
6F：→ chang1248w: 还有第三种是呼叫model的时候喂了trainable=False 12/22 23:59
7F：→ chang1248w: 不过你把discriminator 拆的这麽彻底.... 12/22 23:59
8F：→ chang1248w: 最粗暴的解法就是 keras.Model.trainable =True 12/23 00:01
9F：→ chang1248w: 手动去历遍layer weight也可以 12/23 00:02
10F：→ filialpiety: 感谢 12/23 19:13
11F：→ filialpiety: discriminator_n_layer是tuning的其中一个目标 12/23 19:13
12F：→ filialpiety: trainable = false 则是照书上写的来做 12/23 19:13
13F：→ filialpiety: 也想请问一下有没有tf Variable 的范例？我看到满 12/23 19:13
14F：→ filialpiety: 多人这样写的说 12/23 19:13
15F：→ filialpiety: ，不过不知道怎麽下手来改？ 12/23 19:13
16F：→ chang1248w: 把variable.trainable设成false当然就会辨识为 12/23 21:15
17F：→ chang1248w: non trainable parameters 啊... 12/23 21:16
18F：→ chang1248w: 你的那本书应该有说tuning的时候最後面几层不要 12/23 21:20
19F：→ chang1248w: freeze，或者加层linear 12/23 21:21
20F：→ filialpiety: 感谢～我现在把trainable改true後，non-trainable 12/24 05:26
21F：→ filialpiety: params明显减 12/24 05:26
22F：→ filialpiety: 少许多，不过discriminatior 的performance 一样0. 12/24 05:26
23F：→ filialpiety: 0 12/24 05:26
24F：→ filialpiety: 书上没有做tuning，而是直接针对minst 资料集给nn 12/24 05:26
25F：→ filialpiety: 固定结构；tun 12/24 05:26
26F：→ filialpiety: ing 部分是我如法炮制改的，资料则是喂实验室清乾 12/24 05:26
27F：→ filialpiety: 净的资料，目前 12/24 05:26
28F：→ filialpiety: ensemble ML效果还可以，想说用semi GAN看看能不能 12/24 05:26
29F：→ filialpiety: 提升预测力， 12/24 05:26
30F：→ filialpiety: 不过明显影我技术有问题，效果也不好。想请问deep 12/24 05:26
31F：→ filialpiety: 在处理结构资料 12/24 05:26
32F：→ filialpiety: 还有哪几招可以试？ 12/24 05:26
33F：→ chang1248w: 啥用途? 12/25 01:16
34F：→ filialpiety: 目前是做supervised learning、semi supervised 应 12/26 14:55
35F：→ filialpiety: 该没望了 12/26 14:55
36F：→ filialpiety: 论文用途～～ 12/26 14:56
37F：→ chang1248w: 找题目的意思？ 12/27 14:40
38F：→ filialpiety: 题目已经确定了！资料也清乾净，只是现在在训练分 12/28 17:43
39F：→ filialpiety: 类器；ML的scri 12/28 17:43
40F：→ filialpiety: pt 差不多了！想说弄DL分类器看看，让自己就业有点 12/28 17:43
41F：→ filialpiety: 竞争力 12/28 17:43
42F：→ filialpiety: 毕竟上个实验室有要求我做DL、花了一年时间看一堆p 12/28 17:43
43F：→ filialpiety: aper还有课程 12/28 17:43
44F：→ filialpiety: 。如果DL做不出来我也认了XD 反正DL对硬体要求很高 12/28 17:43
45F：→ filialpiety: ，也不见得适 12/28 17:43
46F：→ filialpiety: 合每个议题 12/28 17:43
47F：→ chang1248w: dl强在把先验知识融入模型的灵活度 12/29 00:59
48F：→ chang1248w: 如果你的资料就是几个数值型的栏位，那一般是比不过 12/29 01:01
49F：→ chang1248w: ml的方法 12/29 01:01
50F：→ filialpiety: 先验知识和後验知识？！我查一下後不太了解，请问 12/29 15:30
51F：→ filialpiety: 这部分是在大学 12/29 15:30
52F：→ filialpiety: 哪个科目内呢？我常常看到先验机率和後验机率跟 12/29 15:30
53F：→ filialpiety: 您提的是不是有 12/29 15:30
54F：→ filialpiety: 关系？ 12/29 15:30
55F：→ chang1248w: 我个人是理解为资料以外的知识 12/30 14:22
56F：→ chang1248w: 先/後验分布是贝氏统计的部分 12/30 14:22
57F：→ chang1248w: 应该没什麽关系 12/30 14:23