Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?

同源视图的答案来自取样过程

解释、算例与证据

P08 · 同一张图,可以给出两个相关视图

从同一底图产生两种观察,明确正例身份由数据管线提供,再讨论这种任务可能留下什么共有结构。

P08 学习表示机制图,状态 1P08 学习表示机制图,状态 1同一底图 x视图 a固定裁剪 1杯身 + 桌面视图 b固定裁剪 2仍包含同一杯子两个视图共享原图,不额外需要类别名裁剪坐标由代码固定;不是两张独立生成的图片。

一张红杯底图按固定坐标裁出两个仍包含杯子的视图,来源箭头保留。

  • 同一底图 x
  • 视图 a
  • 固定裁剪 1
  • 杯身 + 桌面
  • 视图 b
  • 固定裁剪 2
  • 仍包含同一杯子
  • 两个视图共享原图,不额外需要类别名
  • 裁剪坐标由代码固定;不是两张独立生成的图片。
一张红杯底图按固定坐标裁出两个仍包含杯子的视图,来源箭头保留。 查看对应图解状态
查看完整图解

课堂讲述

看这两个局部视图。像素不完全一样,但我们知道它们从同一张原图产生。这件事不需要额外的类别标签,只需要保存我们做过的变换。 可以据此要求网络:这两个视图的表示应当相互接近,而不是只因为亮度或裁剪不同就完全分开。这里我们还没有告诉模型“这是什么杯子”,只提供了一个关系。 不过,关系并非天然正确到可以随意使用。如果一个裁剪只剩桌面,另一个只剩杯子,或者原图里有多个不同物体,这对视图到底共享多少内容,就要重新检查。增强不是数据清洗之后的附属选项,它开始参与定义模型要学习的东西。

同源视图为什么能当作正例?

独立阅读

先固定一张原图,再独立采样两次变换,得到 v=t(x)v=t(x) 与 v+=t′(x)v^+=t'(x)。知道它们来自同一个 xx,是数据管线提供的身份信息;它不是模型事先认出了杯子。训练目标要求两张观察在表示空间仍能互相找到。

若两张裁剪分别改变背景和亮度,但都保留杯身,完成配对就可能需要抓住跨视图共有的轮廓和部件,而不能只记某个像素位置。这是视图训练有机会产生可迁移特征的理由。

但正例规则也施加了假设:如果一张只剩杯子、另一张只剩无关书本,我们仍知道它们同源,却未必给出了理想的语义一致性任务。增强不是越强越好;要问它留下了哪些共有证据,又要求模型忽略哪些差异。

沿这个问题继续

指认两张视图共同保留的物体部分;去LAB 06看实际输入图,先读图再读代码。

图示条件与公式约定

使用现有 concept-red-cup-a.png 同一文件;两个 SVG viewBox 分别为 [145,120,980,980] 与 [280,180,850,850]。裁剪为确定性显示变换,未独立生成两幅正例。本页将稿件中的“零件”替换为“杯子”,不改变论证。

这条线索的展开与后续阅读