Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?

在 z 上比较,为什么 h 仍会学习?

独立阅读
课堂上下文:从哪个问题来

解释训练空间与使用空间可以不同,同时明确投影头不截断梯度,也不保证保存一切。

训练路径是 x→fθ→h→gϕ→z→Lx\to f_\theta\to h\to g_\phi\to z\to L。投影头不是一道截断墙:链式法则中 ∂L/∂θ=(∂L/∂z)(∂z/∂h)(∂h/∂θ)\partial L/\partial\theta=(\partial L/\partial z)(\partial z/\partial h)(\partial h/\partial\theta),梯度穿过g更新f。迁移时读取h,是选择另一个使用接口。

考虑一个可行构造:h=(u,c)h=(u,c)分别含形状与颜色,g(h)=ug(h)=u。两视图颜色不同但形状相同,那么z可以满足颜色不变性,而h仍有位置放颜色。这解释了投影头为什么可能缓和“训练要忽略”与“未来要保留”的冲突。

这个构造不保证网络一定学成这样。LAB 06的真实换色训练中,h的颜色5NN读出也接近机会水平(不等于所有读出都无法取得颜色);有时z的形状读出反而优于h。正面理解是投影头提供了分工空间,实证问题则是训练后哪一层对哪项任务更有用。

P12 学习表示机制图,状态 1P12 学习表示机制图,状态 1预训练:损失作用在 z,梯度经过 f 与 g视觉编码器 fh投影头 gz与对应视图 z⁺ 比较损失 → g → f两视图共享 f 与 g 的参数;右侧画出其中一条路径。

损失在z计算,梯度经过投影头回到编码器。 查看对应图解状态

  • 预训练:损失作用在 z,梯度经过 f 与 g
  • 视觉编码器 f
  • h
  • 投影头 g
  • z
  • 与对应视图 z⁺ 比较
  • 损失 → g → f
  • 两视图共享 f 与 g 的参数;右侧画出其中一条路径。
损失在z计算,梯度经过投影头回到编码器。 查看对应图解状态
查看完整图解

继续阅读与实验