Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?

同源视图为什么能当作正例?

独立阅读
课堂上下文:从哪个问题来

从同一底图产生两种观察,明确正例身份由数据管线提供,再讨论这种任务可能留下什么共有结构。

先固定一张原图,再独立采样两次变换,得到 v=t(x)v=t(x) 与 v+=t′(x)v^+=t'(x)。知道它们来自同一个 xx,是数据管线提供的身份信息;它不是模型事先认出了杯子。训练目标要求两张观察在表示空间仍能互相找到。

若两张裁剪分别改变背景和亮度,但都保留杯身,完成配对就可能需要抓住跨视图共有的轮廓和部件,而不能只记某个像素位置。这是视图训练有机会产生可迁移特征的理由。

但正例规则也施加了假设:如果一张只剩杯子、另一张只剩无关书本,我们仍知道它们同源,却未必给出了理想的语义一致性任务。增强不是越强越好;要问它留下了哪些共有证据,又要求模型忽略哪些差异。

P08 学习表示机制图,状态 1P08 学习表示机制图,状态 1同一底图 x视图 a固定裁剪 1杯身 + 桌面视图 b固定裁剪 2仍包含同一杯子两个视图共享原图,不额外需要类别名裁剪坐标由代码固定;不是两张独立生成的图片。

两张裁剪来自同一底图,正例身份由取样过程给出。 查看对应图解状态

  • 同一底图 x
  • 视图 a
  • 固定裁剪 1
  • 杯身 + 桌面
  • 视图 b
  • 固定裁剪 2
  • 仍包含同一杯子
  • 两个视图共享原图,不额外需要类别名
  • 裁剪坐标由代码固定;不是两张独立生成的图片。
两张裁剪来自同一底图,正例身份由取样过程给出。 查看对应图解状态
查看完整图解

继续阅读与实验