同源、同类与负例不是同一回事
课堂上下文:从哪个问题来
把同源关系与语义同类拆开。负例的定义要相对于训练题,不能直接等同于类别不同。
设A1、A2是同一红杯照片的两种裁剪,B1来自另一只红杯。实例对比通常把A1–A2配为正例,把B1作为A1的其他候选。即便A和B都属于“杯子”,取样过程也没有给它们同源身份。
这解释了“假负例”:在训练的实例身份题中,B确实不是A;在下游语义分类题中,B却可能应该与A接近。两种题目的答案并不矛盾,但会对表示施加不同压力。
本页不要求学生寻找一条永远正确的相似度。先写清关系:同一原图、同一对象、同一类别、同一语句含义是不同层次。以后CLIP用图文配对时,也要重新问正例来自哪一种数据关系,不能沿用“看起来相似就是正例”的模糊定义。