作者clansoda (小笨)
看板DataScience
標題[問題] tensorflow gradients無法計算
時間Thu Oct 29 22:40:52 2020
不確定這能不能發在這邊，如果不行麻煩告知我一下
我最近剛從pytorch試著轉換到tensorflow
目前的問題是我使用tape的時候無法順利地計算gradients
with tf.GradientTape() as tape:
predictions = model(features,training = True)
loss = loss_func(labels, predictions)
gradients = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))
這是我目前使用的code，縮牌可能會因為貼上的關係有點問題
主要是走到第三行用tape.gradient計算gradient時，返還的都是None
我已經確認過loss有被正確地計算出來
搜尋過可能的原因
(1) 使用model.predict造成 return的是一個numpy array而不是tensorflow tensor
而使得gradienttape無法正確計算gradient。但這個問題不成立，因為我是直接使用
class的__call__來計算prediction
(2) 要使用 tape.watch來計算gradients，這個做法我也加過，但是返還的gradients
一樣是None
不曉得還有甚麼可能會導致這樣的結果呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.218.7.190 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1603982455.A.4E5.html
1F：推 min86615: 有加watch嗎？ 10/29 22:53
2F：→ min86615: 抱歉沒看到 10/29 22:57
3F：推 baby0326sky: 感覺問題出在loss_func，確定labels跟predictions有 10/29 22:59
4F：→ baby0326sky: 正確運算到嗎？ 10/29 22:59
5F：推 min86615: 話說你gradient是放在同一層嗎，後面兩行要放在和with同 10/29 23:07
6F：→ min86615: 一層哦 10/29 23:07
7F：推 acctouhou: 你要先檢查你的model裡面真的有可以train的參數嗎？或 10/30 02:56
8F：→ acctouhou: 是你在建完model後有clear 10/30 02:56
9F：推 qwe85158: gradients跟optimizer多縮排了 10/30 14:56
10F：→ clansoda: 請問baby大，如何確定有正確算到呢? loss這個物件是一個 10/30 22:02
11F：→ clansoda: tensor，裏頭是一個實數的scalar，應該算是有正確算到吧 10/30 22:02
12F：→ clansoda: min大，後面兩行有放在同一個縮排了 10/30 22:03
13F：→ clansoda: acc大，我有print過model.trainable_varaibles 10/30 22:04
14F：→ clansoda: 裏頭確實是有一個長度為10的list，元素都是tensor 10/30 22:04
15F：→ clansoda: qwe大，請問什麼是多縮排呢? 10/30 22:05
16F：推 PhysiAndMath: tape計算gradient的時候要離開with 10/30 22:17
17F：→ clansoda: 我只能周一再貼圖了，code在公司電腦 10/30 23:57
18F：→ clansoda: 我目前應該是前兩行在with下 而後兩行在外面的縮排 10/30 23:57
19F：推 baby0326sky: 之前也遇過這個問題，那時候我是的損失函數沒寫好， 10/31 01:10
20F：→ baby0326sky: 導致損失並不是透過labels跟predictions運算出來的， 10/31 01:10
21F：→ baby0326sky: 所以才無法反向傳播得到gradients，所以建議可以檢查 10/31 01:10
22F：→ baby0326sky: 一下 10/31 01:10
23F：推 art1: 看線上文件都有用到 watch，有可能是這個原因嗎？ 10/31 13:45
24F：→ art1: 似乎不是... 10/31 13:47
25F：推 nj882033: 有一些lib函數返還的數值會沒有梯度喔 11/05 12:21
26F：→ nj882033: 你確認下到哪一步突然沒有梯度，換掉那就可以了 11/05 12:22
27F：→ clansoda: 我自己回自己一下，如同nj大所說 這邊的問題就是函數 11/07 08:48
28F：→ clansoda: 我使用的cross entropy是來自於tensorflow.keras.metric 11/07 08:49
29F：→ clansoda: 實際上要使用tensorflow.keras.lossess同一名字的函數 11/07 08:49
30F：→ clansoda: 他才會正確的追蹤梯度，但實際上你完全可以print出 11/07 08:49
31F：→ clansoda: 正確的loss，導致很難理解為什麼沒辦法回傳梯度 11/07 08:50
32F：→ clansoda: 這點跟pytorch不太一樣，pytorch沒有metrics跟loss之分 11/07 08:50
33F：→ clansoda: watch的話，我自己看得tutorial是沒有加上去的 11/07 08:51
34F：→ clansoda: 但我自己寫的code我有補上，這點再請其他人補充 11/07 08:51
35F：→ chang1248w: 一個是tensorflow operation function，return numpy 11/15 19:31
36F：→ chang1248w: 另外一個是keras layer object 11/15 19:31
37F：→ chang1248w: metrics那一類是用來監測模型訓練的指標，不能算梯度 11/15 19:34
38F：→ chang1248w: 合情合理 11/15 19:34