## 代入常量表示，检查目标的平凡解

## 解释、算例与证据

# P11 · 为什么不能把所有图片都映射成同一个向量？

先代入常量函数检查目标的平凡解，说明仅有一致性不够，也为教师方法留下合理选读入口。



图内标签与数值：P11 学习表示机制图，状态 1；全部映成同一向量；能区分指定对应；k⁺；1/3；0.665；k₁；1/3；0.245；k₂；1/3；0.090；q 与 k⁺；其他候选；L = ln 3 ≈ 1.099；L ≈ 0.408；分数全部相同，选择任务无法完成；此图比较目标值，不是训练曲线。

坍塌表示的三候选均分1/3与可区分候选并排，损失ln3约1.099对比0.408。

- 全部映成同一向量
- 能区分指定对应
- k⁺
- 1/3
- 0.665
- k₁
- 1/3
- 0.245
- k₂
- 1/3
- 0.090
- q 与 k⁺
- 其他候选
- L = ln 3 ≈ 1.099
- L ≈ 0.408
- 分数全部相同，选择任务无法完成；此图比较目标值，不是训练曲线。坍塌表示的三候选均分1/3与可区分候选并排，损失ln3约1.099对比0.408。 [查看对应图解状态](/#/l3-r2-p11/0)[查看完整图解](/course/figures/l3-r2-p11-0.html)

## 课堂讲述

一个看似省事的办法是：所有输入都输出同一个向量。这样同图的两个视图当然相同，但任何其他图也相同，模型已经没有办法选择对应项。
在这个三候选算例中，所有分数相同，正确项只有三分之一的概率，损失约为 1.099；能区分对应关系时，损失可以更低。这个比较解释了为什么单纯要求“两视图一样”不够，而带有区分任务的目标还提出了另一项要求。
不要由此推成“只要有负例，训练就一定成功”。我们现在只是看见平凡表示为什么不能很好完成这个选择任务。没有负例的方法怎样避免坍塌，是另一组设计问题，已经保留在补充材料，今天不再展开一套教师网络。


### 常量表示为什么不解决对比任务？
[独立阅读](/course/blocks/collapse-and-discrimination.html)
若只最小化两视图间距离，$f(x)=c$ 对任何图都输出同一向量，配对距离就是零。它满足一致性，却让杯子与书无法区分。加入候选竞争后，如果所有单位向量相同，各候选得分也相同，K个候选的正例概率只能是1/K，损失是 $\ln K$；例如三项时约1.099。



这说明对比目标没有把“全部一样”当成一个好的区分结果。但仅凭这个算例，不应宣布任何网络或优化过程都不可能停在退化状态。真正检查还包括样本间方差、表示秩以及下游读出。



没有显式负例的方法也能成功：它们组合教师目标、预测器、停止梯度和分布处理等设计。下面的教师补充块解释这些组件各自负责什么，不把一条EMA箭头当成防坍塌的充分证明。


#### 图示条件与公式约定

三候选同分：p+=1/3，L=ln3=1.0986122887。图上的向量与条形为机制示意，没有训练曲线或成功保证。


#### 这条线索的展开与后续阅读

- [一致性目标的平凡解｜问题从哪里出现](/supplement.html?return=l3-r2-p11/0#/l3-collapse-teacher-problem/0) L03补充阅读
- [一致性目标的平凡解｜核心改动怎样工作](/supplement.html?return=l3-r2-p11/0#/l3-collapse-teacher-mechanism/0) L03补充阅读
- [一致性目标的平凡解｜一起算一个完整例子](/supplement.html?return=l3-r2-p11/0#/l3-collapse-teacher-example/0) L03补充阅读
- [一致性目标的平凡解｜怎样检查这项解释](/supplement.html?return=l3-r2-p11/0#/l3-collapse-teacher-evidence/0) L03补充阅读
- [一致性目标的平凡解｜什么结论还不能推出](/supplement.html?return=l3-r2-p11/0#/l3-collapse-teacher-boundary/0) L03补充阅读
## 选读：模型提供软目标，为什么仍须检查坍塌

把固定教师和EMA教师分开；同一组logits改变温度，先看软目标表达了什么。

### 教师模型提供的是哪一种答案？
[独立阅读](/course/blocks/teacher-target-source-and-collapse.html)
固定教师蒸馏让学生拟合一个已有模型的概率分布；EMA教师则来自学生参数的历史平均。这两种教师都不是天然正确的类别真值，也不必比学生更大。



以logits(4,2,0)为例，温度1的概率约(0.8668,0.1173,0.0159)，温度2约(0.6652,0.2447,0.0900)。软目标除最大类外，还表达其他类别的相对接近。学生可以用交叉熵拟合它，但也可能继承教师的背景捷径。



BYOL、DINO说明不显式使用负例也能学表示；它们采用的不对称预测、停止梯度、教师更新及输出分布处理应整体理解。当前LAB 17训练的是解析输入上的固定线性教师蒸馏，再单独算EMA，不是DINO视觉复现。这里适合作为理解“目标从模型取得”的选读分支，阅读后回到P18。

**出处：**[BYOL 原论文](https://arxiv.org/abs/2006.07733) · [DINO 原论文](https://arxiv.org/abs/2104.14294)
## 沿这个问题继续

用K=3手算常量对比loss；想追问无负例学习，再选LAB 17，不必先学整个DINO。

**出处：**[SimCLR 原论文（2020）](https://arxiv.org/abs/2002.05709) · [MoCo 原论文（2019 / CVPR 2020）](https://arxiv.org/html/1911.05722v3)