在 z 上比较,为什么 h 仍会学习?
课堂上下文:从哪个问题来
解释训练空间与使用空间可以不同,同时明确投影头不截断梯度,也不保证保存一切。
训练路径是 。投影头不是一道截断墙:链式法则中 ,梯度穿过g更新f。迁移时读取h,是选择另一个使用接口。
考虑一个可行构造:分别含形状与颜色,。两视图颜色不同但形状相同,那么z可以满足颜色不变性,而h仍有位置放颜色。这解释了投影头为什么可能缓和“训练要忽略”与“未来要保留”的冲突。
这个构造不保证网络一定学成这样。LAB 06的真实换色训练中,h的颜色5NN读出也接近机会水平(不等于所有读出都无法取得颜色);有时z的形状读出反而优于h。正面理解是投影头提供了分工空间,实证问题则是训练后哪一层对哪项任务更有用。
损失在z计算,梯度经过投影头回到编码器。 查看对应图解状态
- 预训练:损失作用在 z,梯度经过 f 与 g
- 视觉编码器 f
- h
- 投影头 g
- z
- 与对应视图 z⁺ 比较
- 损失 → g → f
- 两视图共享 f 与 g 的参数;右侧画出其中一条路径。