教师模型提供的是哪一种答案?
课堂上下文:从哪个问题来
先代入常量函数检查目标的平凡解,说明仅有一致性不够,也为教师方法留下合理选读入口。
固定教师蒸馏让学生拟合一个已有模型的概率分布;EMA教师则来自学生参数的历史平均。这两种教师都不是天然正确的类别真值,也不必比学生更大。
以logits(4,2,0)为例,温度1的概率约(0.8668,0.1173,0.0159),温度2约(0.6652,0.2447,0.0900)。软目标除最大类外,还表达其他类别的相对接近。学生可以用交叉熵拟合它,但也可能继承教师的背景捷径。
BYOL、DINO说明不显式使用负例也能学表示;它们采用的不对称预测、停止梯度、教师更新及输出分布处理应整体理解。当前LAB 17训练的是解析输入上的固定线性教师蒸馏,再单独算EMA,不是DINO视觉复现。这里适合作为理解“目标从模型取得”的选读分支,阅读后回到P18。