收束对比路线：方法组件可以组合，是否有用还要看下游证据。由此转向不同目标的重建路线。
MoCo 2019.11、SimCLR 2020.02、MoCo v2 2020.03时间带；队列/EMA与投影头/增强两路汇合。
刚才为了讲明白计算取舍，我们先用了 SimCLR 的图。这不是历史发表顺序：MoCo 的预印本在 2019 年，SimCLR 在 2020 年，之后的 MoCo v2 明确吸收了 SimCLR 中的非线性投影头和增强设计。 MoCo 原文还比较了多项检测与分割迁移任务，而不只报分类读出的结果。这使“不依赖逐图类别标签也能获得可用视觉表示”有了下游证据。 这是一个很好的研究案例。持续的问题是怎样学习可迁移表示，但一个框架不必只沿着自己的名字演化；别的工作发现的有效设计，可以被吸收进去，再看它在新的组织方式下是否成立。 所以读论文时，不只看方法缩写。把目标、增强、投影头、字典组织和评价协议拆开，才能看见到底换了什么。何恺明及合作者在这里提供的是持续追问问题的线索，不是一份把所有方法归到同一人名下的作品目录。
MoCo突出历史字典与动量编码器，SimCLR突出批内两视图比较及投影头等设计。它们不是互相排斥的整套身份：后续方法可以把一方有效的组件放入另一种计算组织中。
这种看法更有助于阅读论文。把一套方法拆成数据与增强、表示网络、目标、候选组织、更新规则、评价协议六个部分，再问新论文究竟改了哪一部分。若同时改了增强、训练时长、模型和loss，最终提高可以是有效工程组合，但不能直接把全部提高归给一个名字。
正面进展也应看清：这些设计使没有人工类别目标的图像学习成为可迁移起点。下一块用MoCo原论文的检测微调结果展示这件事，随后转到另一条不同目标路线——预测缺失像素。
原始 arXiv 首次提交：MoCo 2019-11-13；SimCLR 2020-02-13；MoCo v2 2020-03-09。v2 明确采用 MLP 投影头与更多增强。本页不展示论文性能表或未核实提升数字。
比较同一下游检测器的两种预训练起点，而不是要求冻结编码器直接输出框。
MoCo原论文Table 2(b)在同一Faster R-CNN、ResNet-50-C4设置下比较预训练起点：
| 预训练 | box AP | AP50 | AP75 |
|---|---|---|---|
| ImageNet-1M 人工类别监督 | 53.5 | 81.3 | 58.8 |
| ImageNet-1M MoCo | 55.9 | 81.5 | 62.6 |
两者均在VOC trainval07+12检测标注上全层微调24k次，评价为VOC test2007，取5次实验平均；AP是COCO式多IoU阈值指标，AP50/AP75是指定阈值。MoCo相对提高2.4 AP，说明视图对比学出的参数在这套下游协议下提供了有效起点。
这不是冻结模型直接会检测：检测头与主干都用检测监督适配。它也不把所有预训练和下游总算力配平。相同论文的另一种主干结构收益不同，因此结论应保留具体模型与协议。
把固定教师和EMA教师分开；同一组logits改变温度，先看软目标表达了什么。
固定教师蒸馏让学生拟合一个已有模型的概率分布；EMA教师则来自学生参数的历史平均。这两种教师都不是天然正确的类别真值，也不必比学生更大。
以logits(4,2,0)为例，温度1的概率约(0.8668,0.1173,0.0159)，温度2约(0.6652,0.2447,0.0900)。软目标除最大类外，还表达其他类别的相对接近。学生可以用交叉熵拟合它，但也可能继承教师的背景捷径。
BYOL、DINO说明不显式使用负例也能学表示；它们采用的不对称预测、停止梯度、教师更新及输出分布处理应整体理解。当前LAB 17训练的是解析输入上的固定线性教师蒸馏，再单独算EMA，不是DINO视觉复现。这里适合作为理解“目标从模型取得”的选读分支，阅读后回到P18。
先读MoCo检测证据表及协议；教师目标为选读，随后直接进P19。