[LAB 17 · 软目标与坍塌：三个数值检查](/course/notebooks/268a4ab11b464c64b065f9fc12b19cc7.html)

# 已完成的基准运行
[独立阅读](/course/notebook-blocks/7044913259924763a3b29542e91fbca8.html)
按问题继续

常数坍塌反例、固定教师KL学习及单独EMA计算

## 已完成的基准运行

以下是本轮本地独立 Python 进程的实际标准输出，云端执行另行记录。

```
heldout teacher/student KL 0.24742 -> 1e-05
collapsed consistency loss 0.0 variance [0.0, 0.0, 0.0, 0.0]
noncollapsed variance [1.239, 0.712, 1.084, 1.199]
3 EMA updates preserve factor 0.271 of fixed student parameters
temperature teacher probabilities [[0.6285, 0.2312, 0.1402]]

```

保留集 KL 降低表示学生更接近这个教师的概率分布；不能据此宣称视觉迁移更好。增大温度让非最大类别得到更多质量，也会改变梯度尺度；正式蒸馏常乘 T² 补偿，本代码明确不乘，比较学习率时要一起考虑。

EMA 平滑参数变化，stop-gradient 限制梯度路径，但“常量也能获得零一致性损失”的反例并未因此从数学上消失。MoCo 还用负例；BYOL/DINO 的训练设计和经验条件应分别解释。先到 [CLS 05](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/b8320404134f4a2e858ccfe7d50a71d3) 区分训练目标与 probe，再只改变 T=1/4 比较分布与KL曲线。来源：[知识蒸馏论文](https://arxiv.org/abs/1503.02531)、[BYOL](https://arxiv.org/abs/2006.07733)。