Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例瓶颈是读错位置,还是差别根本没有保留?

一个空间格子也能保存左右差异

独立阅读
课堂上下文:从哪个问题来

保持 1×1 网格,增加左右差通道即可让甲乙从同为 .5 变成 [.5,+1] 与 [.5,−1]。这说明信息不只由空间尺寸决定,也说明新通道只保证当前任务所需区别,并没有恢复任意原图。

继续用甲、乙两张 2×2 图。第一通道取均值 .5,第二通道取左列均值减右列均值。甲得到 1−0=+11-0=+1,乙得到 0−1=−10-1=-1,因此表示分别为 [.5,+1][.5,+1] 与 [.5,−1][.5,-1]。空间大小都是 1×1,却已经有了可区分输入。

一个简单读出只需看第二通道符号,就可判断亮列在左还是右。与 P44 相比,成功不来自输出图画得更密,而来自编码器在压缩时额外保存了一项与任务有关的统计。

也不要因此推断两个通道足以恢复任意 2×2 图案。四个像素有更多自由度,均值与左右差只保存两种统计,仍可能有别的图案碰撞。表示的价值应围绕任务判断:如果只要左右,这项统计够用;若还要区分上下,就需要保留额外差别。

真实网络的通道是训练学到的,通常不是这样手写。因此下游 probe、迁移任务与可控干预仍然重要。张量有多少格、多少通道,提供的是容量线索,不是任务信息已被利用的证明。

Lecture 03 课堂图解 P45增加输出格点0.50.50.50.50.5相同数值被重复保存一个新通道:左均值 − 右均值10100101A = [0.5, +1]方向:1 − 0 = +1B = [0.5, −1]方向:0 − 1 = −1更密 ≠ 更多区别分辨率与信息量不是同一件事构造说明“可以编码这项区别”,不是保证真实网络会自动学到它。

相同网格增加左右差通道,使两种布局可分。 查看对应图解状态

  • 增加输出格点
  • 0.5
  • 0.5
  • 0.5
  • 0.5
  • 0.5
  • 相同数值被重复
  • 保存一个新通道:左均值 − 右均值
  • 1
  • 0
  • 1
  • 0
  • 0
  • 1
  • 0
  • 1
  • A = [0.5, +1]
  • 方向:1 − 0 = +1
  • B = [0.5, −1]
  • 方向:0 − 1 = −1
  • 更密 ≠ 更多区别
  • 分辨率与信息量不是同一件事
  • 构造说明“可以编码这项区别”,不是保证真实网络会自动学到它。
相同网格增加左右差通道,使两种布局可分。 查看对应图解状态
查看完整图解

继续阅读与实验