Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03h 与 z:目标作用在哪一层?

h 与 z:目标作用在哪一层?

独立阅读

主线阅读与优先实验

真实RGB对比训练、唯一指定增强变化、h/z形状与颜色读出

h 与 z:目标作用在哪一层?

编码器 f 的三层卷积将 B×3×16×16 变成 B×24×4×4,再线性读出 h∈R⁴⁸。投影头 g 是 48→48→24 的两层 MLP,中间有 ReLU。损失作用于归一化的 z=g(h),冻结评价分别读取 h 和 z。

每批 N=60 个源图产生 2N 个向量。对第 i 个视图,另一个同源视图 j 是唯一正例:

ℓi=−log⁡exp⁡(sim(zi,zj)/τ)∑k≠iexp⁡(sim(zi,zk)/τ),τ=0.2.\ell_i=-\log\frac{\exp(\mathrm{sim}(z_i,z_j)/\tau)}{\sum_{k\ne i}\exp(\mathrm{sim}(z_i,z_k)/\tau)},\qquad \tau=0.2.

分母去掉自己,包含正例和其他源图的两视图;对 120 个锚点平均。其他源图可能恰好也是红圆,仍被当作负例:这是按源图身份定义的实例目标,未必完全符合形状类别。梯度从 z 经过投影头返回卷积编码器,所以投影头不构成阻止 h 丢信息的隔离墙。