作者fragmentwing (片翼碎梦)
看板DataScience
标题[问题] torch的backward是怎麽管理的？
时间Thu Apr 11 14:23:53 2024
考虑一个类似STN（Spatial Transform Network）搭配一个用上CNN层的Classfier的架构
只是STN这次是靠不同於Classifier，独立的loss function去评价并产生loss喂给STN自己
这样的话怎麽把两个backward分开进行？
是靠各自弄一个optimizer来管理吗？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.77.107.182 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1712816645.A.764.html
1F：推 wuyiulin: 你要两个同时训练？不考虑迁移学习？ 04/12 19:45
2F：→ wuyiulin: 我有干过类似的东西，但是那个时候是把Loss加起来，用 04/12 19:45
3F：→ wuyiulin: 一个 optimizer 04/12 19:45
4F：→ fragmentwing: 我後来梳理这次要建的结构 发现合在一起还是比较合 04/13 00:43
5F：→ fragmentwing: 适的 只不过这次的构思过程中确实激起我的好奇心 04/13 00:43
6F：→ fragmentwing: 用一个optimizer的话应该还是同一个更新 只是loss会 04/13 00:43
7F：→ fragmentwing: 像双胞胎三胞胎网路那样由多个网路输出後合并计算吧 04/13 00:43
8F：→ fragmentwing: 直接loss相加很有趣的感觉 04/13 00:58
9F：推 DaOppaiLoli: 路过好奇，请问 STN 是 Spatial Transformer Networ 04/13 06:04
10F：→ DaOppaiLoli: k 吗 04/13 06:04
12F：→ fragmentwing: 是的 我看到的方法是装在分类器里 实际上提供评价的 04/13 13:59
13F：→ fragmentwing: 还是分类器output後算出来的loss 04/13 13:59
14F：→ fragmentwing: STN算是间接跟着更新 04/13 13:59
15F：→ fragmentwing: 个人认为这其实会为模型带来不稳定因素 04/13 13:59
16F：→ fragmentwing: 因为一个loss就要同时负责分类的准确度与映射的正确 04/13 13:59
17F：→ fragmentwing: 度 意义的解释上存在冲突 04/13 14:00
18F：→ fragmentwing: 不过我实作上是有提升辨识准确度 04/13 14:00
19F：→ fragmentwing: 最有趣的是 STN可以推广到一维和多维的调参上（非指 04/13 14:02
20F：→ fragmentwing: 超参） 04/13 14:02
21F：→ fragmentwing: 理论上你可以用STN的方式给一维资料做平滑处理的参 04/13 14:02
22F：→ fragmentwing: 数调整 像是多项式要几次或窗口要多大 只要能确保这 04/13 14:03
23F：→ fragmentwing: 个平滑过程大致上存在能收敛的地方 04/13 14:03
24F：→ fragmentwing: 那STN就会在训练过程中找出适合的调参 04/13 14:08
25F：→ fragmentwing: 等等我发现我原文就有把全名打出来了XD 04/13 14:13
26F：推 DaOppaiLoli: 因为原文是 Transform 想说会不会跟 Transformer 不 04/13 15:10
27F：→ DaOppaiLoli: 是同个东西 XD 04/13 15:10
28F：→ fragmentwing: 完全不一样XD 04/13 17:05
29F：→ chang1248w: tensorflow要动这块还挺简单的 04/26 03:31