Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?

同源关系与同类关系可以不同

解释、算例与证据

P09 · “正例”说的是关系,不是类别

把同源关系与语义同类拆开。负例的定义要相对于训练题,不能直接等同于类别不同。

P09 学习表示机制图,状态 1P09 学习表示机制图,状态 1查询 q指定正例 k⁺其他图像 k₁其他图像 k₂也是杯子,却不同实例正例是构造出的对应关系;候选中的其他图像不保证语义类别不同。

红杯查询及同底图裁剪正例;另一红杯实例与法兰构成其他候选,标明同类也可能是负项。

  • 查询 q
  • 指定正例 k⁺
  • 其他图像 k₁
  • 其他图像 k₂
  • 也是杯子,却不同实例
  • 正例是构造出的对应关系;候选中的其他图像不保证语义类别不同。
红杯查询及同底图裁剪正例;另一红杯实例与法兰构成其他候选,标明同类也可能是负项。 查看对应图解状态
查看完整图解

课堂讲述

在这类实例级对比任务中,“正例”通常表示训练指定的对应视图,“负例”表示拿来比较的其他样本。它们并不自动等同于“同类别”和“不同类别”。 如果另外一张图片拍的恰好是同类杯子,训练时仍可能把它当作另一个实例。这说明目标对数据作了近似,而不是提前拥有全部语义关系。 为什么这样的近似仍值得尝试?因为大量不同视图的对应能够迫使网络寻找一些跨变换稳定的线索,而不是只记某一张图片的像素。真正的问题不是一句“负例有噪声,所以方法不行”,而是:这种构造最后能否得到对新图片、新任务有用的表示。

同源、同类与负例不是同一回事

独立阅读

设A1、A2是同一红杯照片的两种裁剪,B1来自另一只红杯。实例对比通常把A1–A2配为正例,把B1作为A1的其他候选。即便A和B都属于“杯子”,取样过程也没有给它们同源身份。

这解释了“假负例”:在训练的实例身份题中,B确实不是A;在下游语义分类题中,B却可能应该与A接近。两种题目的答案并不矛盾,但会对表示施加不同压力。

本页不要求学生寻找一条永远正确的相似度。先写清关系:同一原图、同一对象、同一类别、同一语句含义是不同层次。以后CLIP用图文配对时,也要重新问正例来自哪一种数据关系,不能沿用“看起来相似就是正例”的模糊定义。

沿这个问题继续

画A1、A2、B1三个候选,分别标同源与同类,再去P10计算一次选择。

图示条件与公式约定

另一杯子用独立的 concept-red-cup-b.png,只用来示意另一个实例;不把其差异宣称为单变量控制。所有候选身份为教学构造。