学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?
解释训练空间与使用空间可以不同,同时明确投影头不截断梯度,也不保证保存一切。
图像、编码器f、h、投影g、z及对比损失路径;第二状态从冻结h接出可训练线性读出。 查看对应图解状态查看完整图解 SimCLR 在视觉编码器后面增加一个投影头。编码器得到 h,投影头把它变成 z,对比损失作用在 z 上;用于下游任务时,可以取投影头之前的 h。
这就给两个位置不同的分工可能:z 更直接服务于当前的视图比较,h 可能保留一些下游还用得上的变化。原工作通过实验比较了投影头的设计,这不是只为了多加几层。
但请注意,“提供这种可能”和“保证这种分工”不是一回事。损失仍然会通过投影头影响前面的编码器。我们不能看到这张结构图,就宣布某种颜色、边界或者其他细节一定安全地保存在 h 里。接下来用你们的问卷例子检查这个推论。
训练路径是 x→fθ→h→gϕ→z→L。投影头不是一道截断墙:链式法则中 ∂L/∂θ=(∂L/∂z)(∂z/∂h)(∂h/∂θ),梯度穿过g更新f。迁移时读取h,是选择另一个使用接口。
考虑一个可行构造:h=(u,c)分别含形状与颜色,g(h)=u。两视图颜色不同但形状相同,那么z可以满足颜色不变性,而h仍有位置放颜色。这解释了投影头为什么可能缓和“训练要忽略”与“未来要保留”的冲突。
这个构造不保证网络一定学成这样。LAB 06的真实换色训练中,h的颜色5NN读出也接近机会水平(不等于所有读出都无法取得颜色);有时z的形状读出反而优于h。正面理解是投影头提供了分工空间,实证问题则是训练后哪一层对哪项任务更有用。
f 是视觉编码器,g 是投影头。预训练的损失经 g 传播到 f;读出时冻结 f 并训练线性头。采用 h 不构成特定属性保留保证。