Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?

代入常量表示,检查目标的平凡解

解释、算例与证据

P11 · 为什么不能把所有图片都映射成同一个向量?

先代入常量函数检查目标的平凡解,说明仅有一致性不够,也为教师方法留下合理选读入口。

P11 学习表示机制图,状态 1P11 学习表示机制图,状态 1全部映成同一向量能区分指定对应k⁺1/30.665k₁1/30.245k₂1/30.090q 与 k⁺其他候选L = ln 3 ≈ 1.099L ≈ 0.408分数全部相同,选择任务无法完成;此图比较目标值,不是训练曲线。

坍塌表示的三候选均分1/3与可区分候选并排,损失ln3约1.099对比0.408。

  • 全部映成同一向量
  • 能区分指定对应
  • k⁺
  • 1/3
  • 0.665
  • k₁
  • 1/3
  • 0.245
  • k₂
  • 1/3
  • 0.090
  • q 与 k⁺
  • 其他候选
  • L = ln 3 ≈ 1.099
  • L ≈ 0.408
  • 分数全部相同,选择任务无法完成;此图比较目标值,不是训练曲线。
坍塌表示的三候选均分1/3与可区分候选并排,损失ln3约1.099对比0.408。 查看对应图解状态
查看完整图解

课堂讲述

一个看似省事的办法是:所有输入都输出同一个向量。这样同图的两个视图当然相同,但任何其他图也相同,模型已经没有办法选择对应项。 在这个三候选算例中,所有分数相同,正确项只有三分之一的概率,损失约为 1.099;能区分对应关系时,损失可以更低。这个比较解释了为什么单纯要求“两视图一样”不够,而带有区分任务的目标还提出了另一项要求。 不要由此推成“只要有负例,训练就一定成功”。我们现在只是看见平凡表示为什么不能很好完成这个选择任务。没有负例的方法怎样避免坍塌,是另一组设计问题,已经保留在补充材料,今天不再展开一套教师网络。

常量表示为什么不解决对比任务?

独立阅读

若只最小化两视图间距离,f(x)=cf(x)=c 对任何图都输出同一向量,配对距离就是零。它满足一致性,却让杯子与书无法区分。加入候选竞争后,如果所有单位向量相同,各候选得分也相同,K个候选的正例概率只能是1/K,损失是 ln⁡K\ln K;例如三项时约1.099。

这说明对比目标没有把“全部一样”当成一个好的区分结果。但仅凭这个算例,不应宣布任何网络或优化过程都不可能停在退化状态。真正检查还包括样本间方差、表示秩以及下游读出。

没有显式负例的方法也能成功:它们组合教师目标、预测器、停止梯度和分布处理等设计。下面的教师补充块解释这些组件各自负责什么,不把一条EMA箭头当成防坍塌的充分证明。

图示条件与公式约定

三候选同分:p+=1/3,L=ln3=1.0986122887。图上的向量与条形为机制示意,没有训练曲线或成功保证。

这条线索的展开与后续阅读

学习信号与表示表示学习的选读问题

选读:模型提供软目标,为什么仍须检查坍塌

把固定教师和EMA教师分开;同一组logits改变温度,先看软目标表达了什么。

教师模型提供的是哪一种答案?

独立阅读

固定教师蒸馏让学生拟合一个已有模型的概率分布;EMA教师则来自学生参数的历史平均。这两种教师都不是天然正确的类别真值,也不必比学生更大。

以logits(4,2,0)为例,温度1的概率约(0.8668,0.1173,0.0159),温度2约(0.6652,0.2447,0.0900)。软目标除最大类外,还表达其他类别的相对接近。学生可以用交叉熵拟合它,但也可能继承教师的背景捷径。

BYOL、DINO说明不显式使用负例也能学表示;它们采用的不对称预测、停止梯度、教师更新及输出分布处理应整体理解。当前LAB 17训练的是解析输入上的固定线性教师蒸馏,再单独算EMA,不是DINO视觉复现。这里适合作为理解“目标从模型取得”的选读分支,阅读后回到P18。

沿这个问题继续

用K=3手算常量对比loss;想追问无负例学习,再选LAB 17,不必先学整个DINO。