CLS 06 · 表示的三个检查：目标、信息与新域

教师不一定是更大的模型，也不一定提供真值

按问题继续

教师软目标、坍塌、任务信息与域变化的三个不同问题

学习路径： 表示怎样迁移到新任务

从P23评价协议或P24新任务带一个问题进入，不必顺序读完三条分支。

• 目标是否允许无用的解？ 看常量表示为何得到零一致性损失，再用LAB 17区分固定教师拟合与独立EMA计算。
• 线性读不出是否等于信息丢失？ 看XOR四点图，再用LAB 18比较标签信息、身份信息和读出形式。
• 换环境失效是否就是负迁移？ 看环境变化与负迁移，再用LAB 19分别计算适配收益与相对scratch收益。

留下一个可检验判断即可：指出你比较的是哪两个对象、固定了什么条件、结果排除了哪种解释。若要用真实图像检查冻结与微调，回到LAB 01/LAB 02。

对比学习用负例阻止所有样本挤成一点。如果去掉负例，只让同图两视图接近，常量表示 $f(x)=c$ 对任意输入都能达到零距离。这个解完全满足“彼此一致”，却不能区分杯子和书。于是问题从“怎样产生训练目标”推进为：目标本身是否排除了我们不想要的解？本册把教师学习、表示信息和域变化连起来，是因为三者都要求分清模型容易满足的条件和我们真正需要的能力。

教师不一定是更大的模型，也不一定提供真值

传统知识蒸馏用训练好的教师给学生提供输出分布。教师 logits $a=(4,2,0)$ 对应三个类别，温度 $T$ 下的软目标为 $q_i=\exp(a_i/T)/\sum_j\exp(a_j/T)$。$T=1$ 得到约 $(0.8668,0.1173,0.0159)$，$T=2$ 得到 $(0.6652,0.2447,0.0900)$。硬标签只指出第一类；软目标还表达第二类比第三类更接近教师判断。学生可用交叉熵 $-\sum_iq_i\log p_i$ 或等价的、忽略教师熵常数后的 KL 项拟合。

蒸馏常把软目标项与真实标签项结合，并对温度目标作 $T^2$ 缩放以补偿典型梯度尺度变化。温度不是提高事实正确率的按钮；教师若依赖背景，软分布同样可能传递背景捷径。这里传递的是教师行为中的结构，是否有益需要在目标分布上测量。见 Hinton 等，2015：蒸馏与温度软目标。

自监督教师则可以来自学生自身的历史参数。以 EMA 教师为例，教师参数 $\xi\leftarrow m\xi+(1-m)\theta$，目标分支停止梯度，学生去预测另一视图的教师输出。这节省人工标签，却没有凭空增加关于类别的权威来源。固定预训练教师、监督蒸馏教师和 EMA 自监督教师的来源与更新方式不同；看到“teacher”一词，先问它由什么数据训练、是否更新、哪条分支接收梯度。

BYOL 使用在线/目标网络、预测器和停止梯度等不对称设计；DINO 使用教师—学生分布匹配，并结合 centering、sharpening 等机制。它们给出了不显式使用负例也能学表示的实证路线。BYOL · DINO。不能把结果压缩成“EMA 单独保证不坍塌”：若随意删掉预测器、改变归一化或温度，系统已不是论文中的训练组合；只观察训练损失也识别不了所有退化。