学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?
把同源关系与语义同类拆开。负例的定义要相对于训练题,不能直接等同于类别不同。
红杯查询及同底图裁剪正例;另一红杯实例与法兰构成其他候选,标明同类也可能是负项。 查看对应图解状态查看完整图解 在这类实例级对比任务中,“正例”通常表示训练指定的对应视图,“负例”表示拿来比较的其他样本。它们并不自动等同于“同类别”和“不同类别”。
如果另外一张图片拍的恰好是同类杯子,训练时仍可能把它当作另一个实例。这说明目标对数据作了近似,而不是提前拥有全部语义关系。
为什么这样的近似仍值得尝试?因为大量不同视图的对应能够迫使网络寻找一些跨变换稳定的线索,而不是只记某一张图片的像素。真正的问题不是一句“负例有噪声,所以方法不行”,而是:这种构造最后能否得到对新图片、新任务有用的表示。
设A1、A2是同一红杯照片的两种裁剪,B1来自另一只红杯。实例对比通常把A1–A2配为正例,把B1作为A1的其他候选。即便A和B都属于“杯子”,取样过程也没有给它们同源身份。
这解释了“假负例”:在训练的实例身份题中,B确实不是A;在下游语义分类题中,B却可能应该与A接近。两种题目的答案并不矛盾,但会对表示施加不同压力。
本页不要求学生寻找一条永远正确的相似度。先写清关系:同一原图、同一对象、同一类别、同一语句含义是不同层次。以后CLIP用图文配对时,也要重新问正例来自哪一种数据关系,不能沿用“看起来相似就是正例”的模糊定义。
另一杯子用独立的 concept-red-cup-b.png,只用来示意另一个实例;不把其差异宣称为单变量控制。所有候选身份为教学构造。