作者chhuang17 ()
看板DataScience
標題[問題] DRL的time step
時間Thu Sep 30 16:21:00 2021
由於我們家實驗室目前只有我做RL，所以又上來詢問大家了
問題可能很幼幼班，還請大家見諒QQ
過往我們家的學長都是用DQN來做 (智慧號控相關)
以其中一位學長的論文為例
在action的選擇是延長綠燈時間與否
Δt = 5s, 每5秒就會決定號誌代理的動作
最近在文獻回顧的時候，運用DDPG演算法的paper
在action的選擇是直接決定下一時相的綠燈時間
paper裡面也沒有提及 Δt 的值是多少
這意思是time step並不是等長的嗎? (當然每個episode都是等長的)
如果Δt不是固定的，這樣是可以的嗎?
麻煩大家幫忙解惑了，感謝QQ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.234.247 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1632990062.A.5C7.html
1F：推 yiche: 一般來說，DQN(value based)的設計action space是離散的情 09/30 19:26
2F：→ yiche: 況，DDPG(policy based)則是continuous的action space，所 09/30 19:26
3F：→ yiche: 以這樣的做法似乎是可以理解的。 09/30 19:26
4F：推 yiche: 建議可以看一下DDPG 算法的action設計映射到什麼區間 09/30 19:30
y大的意思是該篇paper使用DDPG演算法的action設計嗎
該篇文獻的action設計落在最小綠燈時間~最大綠燈時間這段區間
※ 編輯: chhuang17 (223.136.114.28 臺灣), 09/30/2021 19:36:33
5F：推 yiche: 瞭解，其實我原本猜nn 輸出action是0-1區間，沒想到直接輸 09/30 19:48
6F：→ yiche: 出成秒數區間，謝謝分享。 09/30 19:48
確實是有文獻輸出的action落在[0,1]，定義為綠燈時間縮放因子
不過該篇的Δt是固定的，每隔Δt秒更新時制計畫
這也是我目前論文採用的action設計
這篇貼文只是想釐清一些DDPG的觀念，怕到時候meeting回答不出來><"
※ 編輯: chhuang17 (223.136.114.28 臺灣), 09/30/2021 21:24:57
7F：推 yiche: 原始論文和DQN還差在targetNet是hard/soft update，不過我 09/30 22:07
8F：→ yiche: 自己的經驗是都train得起來啦 (笑 09/30 22:07