Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03学习路径: 视图、投影头与历史字典

学习路径: 视图、投影头与历史字典

独立阅读

按问题继续

常数坍塌反例、固定教师KL学习及单独EMA计算

这是CLS 06“目标是否排除了无用解”的短练习,连接P11。

先把常量输出代入一致性损失,解释为什么零损失仍然无用;然后读固定线性教师的保留KL,最后单独核对三次EMA。三项计算分别检查解、拟合与参数平滑,不是一项视觉教师模型训练。

写下三个对象:谁提供目标,谁接收梯度,EMA平均什么。输入是解析二维数据,教师是手工线性函数;EMA没有参与前面的蒸馏优化。教师来源与坍塌说明保留更完整的解释。若要观察EMA接入真实图像训练,再选LAB 07。