# 在 z 上比较，为什么 h 仍会学习？
[独立阅读](/course/blocks/projection-head-gradient-and-retention.html)**课堂上下文：从哪个问题来**
解释训练空间与使用空间可以不同，同时明确投影头不截断梯度，也不保证保存一切。


训练路径是 $x\to f_\theta\to h\to g_\phi\to z\to L$。投影头不是一道截断墙：链式法则中 $\partial L/\partial\theta=(\partial L/\partial z)(\partial z/\partial h)(\partial h/\partial\theta)$，梯度穿过g更新f。迁移时读取h，是选择另一个使用接口。



考虑一个可行构造：$h=(u,c)$分别含形状与颜色，$g(h)=u$。两视图颜色不同但形状相同，那么z可以满足颜色不变性，而h仍有位置放颜色。这解释了投影头为什么可能缓和“训练要忽略”与“未来要保留”的冲突。



这个构造不保证网络一定学成这样。LAB 06的真实换色训练中，h的颜色5NN读出也接近机会水平（不等于所有读出都无法取得颜色）；有时z的形状读出反而优于h。正面理解是投影头提供了分工空间，实证问题则是训练后哪一层对哪项任务更有用。



图内标签与数值：P12 学习表示机制图，状态 1；预训练：损失作用在 z，梯度经过 f 与 g；视觉编码器 f；h；投影头 g；z；与对应视图 z⁺ 比较；损失 → g → f；两视图共享 f 与 g 的参数；右侧画出其中一条路径。

损失在z计算，梯度经过投影头回到编码器。 查看对应图解状态

- 预训练：损失作用在 z，梯度经过 f 与 g
- 视觉编码器 f
- h
- 投影头 g
- z
- 与对应视图 z⁺ 比较
- 损失 → g → f
- 两视图共享 f 与 g 的参数；右侧画出其中一条路径。损失在z计算，梯度经过投影头回到编码器。 [查看对应图解状态](/#/l3-r2-p12/0)[查看完整图解](/#/l3-r2-p12/0)
**出处：**[SimCLR 原论文 §2–4](https://proceedings.mlr.press/v119/chen20j/chen20j.pdf)
## 继续阅读与实验