Lecture 03图像、两视图与同源正例
图像、两视图与同源正例
按问题继续
真实FIFO键、EMA、梯度更新及低于随机基线的保留结果
图像、两视图与同源正例
每本从种子独立生成相同的600/240源图切分。训练的每批60张图各产生两个视图;颜色保留,几何、亮度和噪声变化。源图索引相同的两视图是正例,而不是“类别相同就是正例”。生成标签只用于后面的冻结读出。
先读 info_nce 的正例索引 (i+N) mod 2N,确认它把前N个视图和后N个视图一一配对;对角线屏蔽自己。然后跟随 zero_grad → backward → step,观察编码器第一层实际发生非零变化。