CLS 01 · 学习信号、表示与迁移

源场景

主线阅读与优先实验

标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据

源场景

裁剪 A

裁剪 B

同一源场景的裁剪与变换，用于观察训练配对；图中的相似关系是任务设定。

对一张桌面照片做两种变换，产生查询视图 q 与对应的 key 视图 k⁺。同一照片提供正配对，不要求先写“杯子”标签。来自另一张照片的 key 可以进入比较字典，但它也可能拍了同一种杯子；“不同图像”不等于“不同语义类别”。

对归一化向量，点积可作相似度。MoCo 的目标让正确配对在字典里得到较高相对分数：

$$\ell=-\log\frac{\exp(q^\top k^+/\tau)}{\exp(q^\top k^+/\tau)+\sum_{k^-}\exp(q^\top k^-/\tau)}.$$

τ 决定分数进入 softmax 后的尖锐程度。目标关心的不是所有向量无条件相同，而是指定正配对相对候选更容易找回。MoCo

看图后先预测： 若两个裁剪都保留杯子但桌面背景不同，系统被要求忽略什么？若其中一张只剩桌面，正配对又要求了什么？