## 同源视图的答案来自取样过程 ## 解释、算例与证据 # P08 · 同一张图,可以给出两个相关视图 从同一底图产生两种观察,明确正例身份由数据管线提供,再讨论这种任务可能留下什么共有结构。 图内标签与数值:P08 学习表示机制图,状态 1;同一底图 x;视图 a;固定裁剪 1;杯身 + 桌面;视图 b;固定裁剪 2;仍包含同一杯子;两个视图共享原图,不额外需要类别名;裁剪坐标由代码固定;不是两张独立生成的图片。 一张红杯底图按固定坐标裁出两个仍包含杯子的视图,来源箭头保留。 - 同一底图 x - 视图 a - 固定裁剪 1 - 杯身 + 桌面 - 视图 b - 固定裁剪 2 - 仍包含同一杯子 - 两个视图共享原图,不额外需要类别名 - 裁剪坐标由代码固定;不是两张独立生成的图片。一张红杯底图按固定坐标裁出两个仍包含杯子的视图,来源箭头保留。 [查看对应图解状态](/#/l3-r2-p08/0)[查看完整图解](/course/figures/l3-r2-p08-0.html) ## 课堂讲述 看这两个局部视图。像素不完全一样,但我们知道它们从同一张原图产生。这件事不需要额外的类别标签,只需要保存我们做过的变换。 可以据此要求网络:这两个视图的表示应当相互接近,而不是只因为亮度或裁剪不同就完全分开。这里我们还没有告诉模型“这是什么杯子”,只提供了一个关系。 不过,关系并非天然正确到可以随意使用。如果一个裁剪只剩桌面,另一个只剩杯子,或者原图里有多个不同物体,这对视图到底共享多少内容,就要重新检查。增强不是数据清洗之后的附属选项,它开始参与定义模型要学习的东西。 ### 同源视图为什么能当作正例? [独立阅读](/course/blocks/paired-views-as-a-task.html) 先固定一张原图,再独立采样两次变换,得到 $v=t(x)$ 与 $v^+=t'(x)$。知道它们来自同一个 $x$,是数据管线提供的身份信息;它不是模型事先认出了杯子。训练目标要求两张观察在表示空间仍能互相找到。 若两张裁剪分别改变背景和亮度,但都保留杯身,完成配对就可能需要抓住跨视图共有的轮廓和部件,而不能只记某个像素位置。这是视图训练有机会产生可迁移特征的理由。 但正例规则也施加了假设:如果一张只剩杯子、另一张只剩无关书本,我们仍知道它们同源,却未必给出了理想的语义一致性任务。增强不是越强越好;要问它留下了哪些共有证据,又要求模型忽略哪些差异。 **出处:**[SimCLR 原论文 §2–4](https://proceedings.mlr.press/v119/chen20j/chen20j.pdf) ## 沿这个问题继续 指认两张视图共同保留的物体部分;去LAB 06看实际输入图,先读图再读代码。 **出处:**[SimCLR 原论文(2020)](https://arxiv.org/abs/2002.05709) #### 图示条件与公式约定 使用现有 concept-red-cup-a.png 同一文件;两个 SVG viewBox 分别为 [145,120,980,980] 与 [280,180,850,850]。裁剪为确定性显示变换,未独立生成两幅正例。本页将稿件中的“零件”替换为“杯子”,不改变论证。 #### 这条线索的展开与后续阅读 - [在候选中,找到同一原图的另一种观察](/supplement.html?return=l3-r2-p08/0#/l3-contrastive/0) 本页说明 - [对比任务由我们构造|问题从哪里出现](/supplement.html?return=l3-r2-p08/0#/l3-infonce-matrix-problem/0) 本页说明