LAB 17 · 软目标与坍塌：三个数值检查

已完成的基准运行

按问题继续

常数坍塌反例、固定教师KL学习及单独EMA计算

已完成的基准运行

以下是本轮本地独立 Python 进程的实际标准输出，云端执行另行记录。

heldout teacher/student KL 0.24742 -> 1e-05
collapsed consistency loss 0.0 variance [0.0, 0.0, 0.0, 0.0]
noncollapsed variance [1.239, 0.712, 1.084, 1.199]
3 EMA updates preserve factor 0.271 of fixed student parameters
temperature teacher probabilities [[0.6285, 0.2312, 0.1402]]

保留集 KL 降低表示学生更接近这个教师的概率分布；不能据此宣称视觉迁移更好。增大温度让非最大类别得到更多质量，也会改变梯度尺度；正式蒸馏常乘 T² 补偿，本代码明确不乘，比较学习率时要一起考虑。

EMA 平滑参数变化，stop-gradient 限制梯度路径，但“常量也能获得零一致性损失”的反例并未因此从数学上消失。MoCo 还用负例；BYOL/DINO 的训练设计和经验条件应分别解释。先到 CLS 05 区分训练目标与 probe，再只改变 T=1/4 比较分布与KL曲线。来源：知识蒸馏论文、BYOL。