学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?
从同一底图产生两种观察,明确正例身份由数据管线提供,再讨论这种任务可能留下什么共有结构。
一张红杯底图按固定坐标裁出两个仍包含杯子的视图,来源箭头保留。 查看对应图解状态查看完整图解 看这两个局部视图。像素不完全一样,但我们知道它们从同一张原图产生。这件事不需要额外的类别标签,只需要保存我们做过的变换。
可以据此要求网络:这两个视图的表示应当相互接近,而不是只因为亮度或裁剪不同就完全分开。这里我们还没有告诉模型“这是什么杯子”,只提供了一个关系。
不过,关系并非天然正确到可以随意使用。如果一个裁剪只剩桌面,另一个只剩杯子,或者原图里有多个不同物体,这对视图到底共享多少内容,就要重新检查。增强不是数据清洗之后的附属选项,它开始参与定义模型要学习的东西。
先固定一张原图,再独立采样两次变换,得到 v=t(x) 与 v+=t′(x)。知道它们来自同一个 x,是数据管线提供的身份信息;它不是模型事先认出了杯子。训练目标要求两张观察在表示空间仍能互相找到。
若两张裁剪分别改变背景和亮度,但都保留杯身,完成配对就可能需要抓住跨视图共有的轮廓和部件,而不能只记某个像素位置。这是视图训练有机会产生可迁移特征的理由。
但正例规则也施加了假设:如果一张只剩杯子、另一张只剩无关书本,我们仍知道它们同源,却未必给出了理想的语义一致性任务。增强不是越强越好;要问它留下了哪些共有证据,又要求模型忽略哪些差异。
使用现有 concept-red-cup-a.png 同一文件;两个 SVG viewBox 分别为 [145,120,980,980] 与 [280,180,850,850]。裁剪为确定性显示变换,未独立生成两幅正例。本页将稿件中的“零件”替换为“杯子”,不改变论证。