Lecture 03研究者为什么有理由继续沿这条路线走?
研究者为什么有理由继续沿这条路线走?
按问题继续
InfoNCE概率与梯度、h/z、温度、队列陈旧性、实测与评价协议
研究者为什么有理由继续沿这条路线走?
MoCo原论文Table 2(b)在同一Faster R-CNN、ResNet-50-C4设置下比较预训练起点:
| 预训练 | box AP | AP50 | AP75 |
|---|---|---|---|
| ImageNet-1M 人工类别监督 | 53.5 | 81.3 | 58.8 |
| ImageNet-1M MoCo | 55.9 | 81.5 | 62.6 |
两者均在VOC trainval07+12检测标注上全层微调24k次,评价为VOC test2007,取5次实验平均;AP是COCO式多IoU阈值指标,AP50/AP75是指定阈值。MoCo相对提高2.4 AP,说明视图对比学出的参数在这套下游协议下提供了有效起点。
这不是冻结模型直接会检测:检测头与主干都用检测监督适配。它也不把所有预训练和下游总算力配平。相同论文的另一种主干结构收益不同,因此结论应保留具体模型与协议。
这份研究证据和上面的LAB07失败结果并不冲突:前者是论文规模、数据与下游协议下的能力进展;后者是小型教学实现的某次表示结果。机制跑通和用途改善应分别判断。
把一次学习走通,也读清实现顺序 对照本页图解与LAB07的步内时序;模拟问答:旧 key 还能比较吗? 提供可指认key身份的模拟问答。第一次动手只选 LAB 06 · 颜色干预:视图、投影与读出 的颜色干预或 LAB 07 · MoCo:历史 key、队列与两种更新 的队列路径之一,不要求两本重复训练。