作者wang19980531 (中立评论员)
看板DataScience
标题[讨论] representation learning几个问题(batchn
时间Tue Jul 13 14:51:00 2021
1. 很多representation learning的论文都有提到 避免使用batch normalization 会有i
nformation leaking的问题。但这点我不太了解，有没有什麽具体的例子？
2. 使用opencv， cv2.imread和cv2.imwrite 两张图（原图和储存的图）竟有差别（看起
来一样、但用我的辨识model预测结果却不同），这样是正常的吗？
3. 使用triplet loss时，我将三张图片(a, p, n)，分别丢到同一model(ResNet18)产出(
Ra, Rp, Rn)，
以此方法进行训练发现training loss在下降，但validation loss在上升（类似overfitt
ing）
反而用contrastive learning训练好的model，用triplet loss计算1个epoch(不更新），
得到更低的triplet loss。
表示triplet loss应该还没收敛（有更好的distribution)
为何会如此呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.10.13.42 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1626159062.A.2E3.html
1F：→ pups003: 1. 因为normalization 会使用到整个dataset的statistics, 07/13 18:14
2F：→ pups003: 超出一个batch内的资讯 07/13 18:14
3F：→ pups003: 2. 读写有的时候会standardize, 要看文件细节检查一下 07/13 18:16
4F：→ pups003: Training based on triplet loss 通常需要特别的取样方 07/13 18:19
5F：→ pups003: 式来避免选到trivial solutions 07/13 18:19
6F：→ wang19980531: 谢谢，可以再解释一下trivial solutions的部分吗 07/14 14:46
7F：→ wang19980531: ？ 07/14 14:46
8F：推 numpy: 类似避免拿到太简单的 triple，可以搜寻 (semi)hard negati 07/14 16:18
9F：→ numpy: ve mining 07/14 16:19
10F：→ followwar: batch normalization在training时只用自己的mean std 07/20 14:34
11F：→ followwar: 哪里来的超出一个batch的资讯... 07/20 14:34
12F：→ followwar: *精准一点 只用自己目前batch的mean std 07/20 14:35
13F：→ followwar: 是 intra-batch information leakage 07/20 14:37
14F：→ followwar: 因为training时mean std是整个batch算 07/20 14:39
15F：→ followwar: 可以藉由这个资讯学到sample之间的不同 07/20 14:39
16F：→ followwar: 由於contrastive learning是要学自己跟别人不一样 07/20 14:40
17F：→ followwar: BN偷偷帮助了这件事 07/20 14:41
18F：→ followwar: 所以变成model藉由BN来区分 本身并没有习得资讯 07/20 14:42
19F：推 EQQD: BN running estimate怎麽没有跨batch..... 07/20 16:10
20F：→ wang19980531: 10楼说的对吧 batch愈大愈接近整个dataset的dist 07/23 14:15
21F：→ wang19980531: ribution 07/23 14:15
22F：→ pups003: 建议去看原论文跟任何framework implementation 会比较清 07/24 23:38
23F：→ pups003: 楚 07/24 23:38
24F：推 r40491101: 2. 我很常也会遇到这个很雷的问题，检查看看是否是储存 08/01 23:11
25F：→ r40491101: 格式，如果是压缩过得，例如jpg，再读一次，去infer， 08/01 23:11
26F：→ r40491101: 结果会有些差异 08/01 23:11