作者wang19980531 (中立评论员)
看板DataScience
标题[问题] 如何从Mutual Information推导到loss fun
时间Sat Dec 26 22:22:28 2020
近期Contrastive learning的loss function
基本上都是源自approximate estimate的
mutual information，
但是不论从Deep InfoMax，InfoNCE，
都和Mutual Information的样子差很多
有没有Step by Step的推导过程
谢谢大家帮忙
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.10.17.100 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1608992550.A.3B0.html
1F：推 pups003: 可以参考on variations bounds of mutual information 12/31 23:13
2F：→ pups003: *variational 自动选字来乱 12/31 23:16
3F：→ wang19980531: 好谢谢 我来看一下 式子好像有点多 01/02 13:25
4F：推 sxy67230: 关键字：mutual information neural estimation，其实就 01/06 00:19
5F：→ sxy67230: 是转化成找MI的上下界的问题，透过学习一个function逼 01/06 00:20
6F：→ sxy67230: 近下界 01/06 00:20