同源视图为什么能当作正例?
课堂上下文:从哪个问题来
从同一底图产生两种观察,明确正例身份由数据管线提供,再讨论这种任务可能留下什么共有结构。
先固定一张原图,再独立采样两次变换,得到 与 。知道它们来自同一个 ,是数据管线提供的身份信息;它不是模型事先认出了杯子。训练目标要求两张观察在表示空间仍能互相找到。
若两张裁剪分别改变背景和亮度,但都保留杯身,完成配对就可能需要抓住跨视图共有的轮廓和部件,而不能只记某个像素位置。这是视图训练有机会产生可迁移特征的理由。
但正例规则也施加了假设:如果一张只剩杯子、另一张只剩无关书本,我们仍知道它们同源,却未必给出了理想的语义一致性任务。增强不是越强越好;要问它留下了哪些共有证据,又要求模型忽略哪些差异。
两张裁剪来自同一底图,正例身份由取样过程给出。 查看对应图解状态
- 同一底图 x
- 视图 a
- 固定裁剪 1
- 杯身 + 桌面
- 视图 b
- 固定裁剪 2
- 仍包含同一杯子
- 两个视图共享原图,不额外需要类别名
- 裁剪坐标由代码固定;不是两张独立生成的图片。