作者lifeowner (珍惜一分一秒)
看板DataScience
标题[问题] Mutual Information Max. vs Disentangled
时间Thu Dec 1 16:23:45 2022
各位前辈: 最近在看 InfoGan (以及 Beta-VAE )
会提到希望把 Data 的隐变量 (latent representation/variables)
尽量做到 disentangled
这样可以让某些特性就用
某个特定维度上的 latent variable来表达
目前看到的方式就是用 Mutual Information Maximization.
不过 我一直找不到 (不理解) 为何 MI Max --> Disentangled representation?
这有直觉上的解释 或者是有被严格证明的?
谢谢各位解惑
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.137.22.220 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1669883027.A.C18.html
※ 编辑: lifeowner (223.137.22.220 台湾), 12/01/2022 16:25:03
1F：→ chang1248w: arXiv:1802.0494212/01 17:47
2F：→ chang1248w: 你的理解中，MI分析的对象是？12/01 17:49
Image vs latent code
※ 编辑: lifeowner (223.137.22.220 台湾), 12/01/2022 18:17:42
3F：→ chang1248w: infogan的思路建立在latent code本身就是distangled 12/02 14:52
4F：→ chang1248w: 然後MI reg的部分则是强迫gan启用latent code的讯息 12/02 14:54
5F：→ chang1248w: MI(X, Y) = KL(p(x,y)||p(x)p(y)) has maximum when 12/02 15:24
6F：→ chang1248w: 痾 minimum... when p(x,y)=p(x)p(y) 12/02 15:28
7F：→ chang1248w: 这种情况下代表generator output 和latent code完全没 12/02 15:29
8F：→ chang1248w: 关系 12/02 15:30
9F：→ chang1248w: 另外直觉上VAE的latent nodes才会minimize彼此之间的 12/02 15:33
10F：→ chang1248w: MI 12/02 15:34
11F：→ truehero: arxiv 1811.12359v4 12/04 23:19
12F：→ pups003: 应该不是chang说的那样 论文里是写MI maximization 02/15 23:39
13F：→ pups003: 我的理解是，并不是maximizing MI->disentangled 02/15 23:39
14F：→ pups003: 而是用了categorical code 02/15 23:42
15F：→ pups003: MI max一般用在latent跟output上是用来减缓mode collapse 02/15 23:43