Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03图像、两视图与同源正例

图像、两视图与同源正例

独立阅读

按问题继续

真实FIFO键、EMA、梯度更新及低于随机基线的保留结果

图像、两视图与同源正例

每本从种子独立生成相同的600/240源图切分。训练的每批60张图各产生两个视图;颜色保留,几何、亮度和噪声变化。源图索引相同的两视图是正例,而不是“类别相同就是正例”。生成标签只用于后面的冻结读出。

先读 info_nce 的正例索引 (i+N) mod 2N,确认它把前N个视图和后N个视图一一配对;对角线屏蔽自己。然后跟随 zero_grad → backward → step,观察编码器第一层实际发生非零变化。