Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例瓶颈是读错位置,还是差别根本没有保留?

加一项左右差统计,检查什么因此可分

解释、算例与证据

P45 · 多一个通道,和多几个像素不是同一回事

保持 1×1 网格,增加左右差通道即可让甲乙从同为 .5 变成 [.5,+1] 与 [.5,−1]。这说明信息不只由空间尺寸决定,也说明新通道只保证当前任务所需区别,并没有恢复任意原图。

Lecture 03 课堂图解 P45增加输出格点0.50.50.50.50.5相同数值被重复保存一个新通道:左均值 − 右均值10100101A = [0.5, +1]方向:1 − 0 = +1B = [0.5, −1]方向:0 − 1 = −1更密 ≠ 更多区别分辨率与信息量不是同一件事构造说明“可以编码这项区别”,不是保证真实网络会自动学到它。

左侧 0.5 重复成四格;右侧新增左列均值减右列均值通道,A=[.5,+1]、B=[.5,−1]。

  • 增加输出格点
  • 0.5
  • 0.5
  • 0.5
  • 0.5
  • 0.5
  • 相同数值被重复
  • 保存一个新通道:左均值 − 右均值
  • 1
  • 0
  • 1
  • 0
  • 0
  • 1
  • 0
  • 1
  • A = [0.5, +1]
  • 方向:1 − 0 = +1
  • B = [0.5, −1]
  • 方向:0 − 1 = −1
  • 更密 ≠ 更多区别
  • 分辨率与信息量不是同一件事
  • 构造说明“可以编码这项区别”,不是保证真实网络会自动学到它。
左侧 0.5 重复成四格;右侧新增左列均值减右列均值通道,A=[.5,+1]、B=[.5,−1]。 查看对应图解状态
查看完整图解

课堂讲述

要恢复刚才的区别,不一定只能提高空间分辨率。也可以让表示多保存一种统计:左列均值减右列均值。于是一个输入得到正一,另一个得到负一,下游就能够区分。 这个例子说明,网格大小和信息量不能简单画等号。更粗的网格加上合适通道,可能保存某种细节;更密的输出格子,也可能只是重复同一个数。 回到真实网络,要靠训练、结构和监督决定它保留什么。我们已经有了一个更有用的诊断顺序:先检查输入差异是否进入表示,再检查区域和采样是否对齐,最后看预测头怎样使用它。三件事都明确,分割错误才不再只是一个笼统的“模型不够强”。

一个空间格子也能保存左右差异

独立阅读

继续用甲、乙两张 2×2 图。第一通道取均值 .5,第二通道取左列均值减右列均值。甲得到 1−0=+11-0=+1,乙得到 0−1=−10-1=-1,因此表示分别为 [.5,+1][.5,+1] 与 [.5,−1][.5,-1]。空间大小都是 1×1,却已经有了可区分输入。

一个简单读出只需看第二通道符号,就可判断亮列在左还是右。与 P44 相比,成功不来自输出图画得更密,而来自编码器在压缩时额外保存了一项与任务有关的统计。

也不要因此推断两个通道足以恢复任意 2×2 图案。四个像素有更多自由度,均值与左右差只保存两种统计,仍可能有别的图案碰撞。表示的价值应围绕任务判断:如果只要左右,这项统计够用;若还要区分上下,就需要保留额外差别。

真实网络的通道是训练学到的,通常不是这样手写。因此下游 probe、迁移任务与可控干预仍然重要。张量有多少格、多少通道,提供的是容量线索,不是任务信息已被利用的证明。

图示条件与公式约定

新增通道为左右列均值之差,A:+1,B:−1。它说明存在一种保存方向的编码,不保证真实网络或增加通道数量就会自动学到。

这条线索的展开与后续阅读

区域、像素与实例瓶颈是读错位置,还是差别根本没有保留?

把对齐收益与信息限制放回各自条件

这段模拟追问帮助核对两类实验的固定条件,不作为已发生课堂对话。

备课推演:对齐有用,为什么问卷里又不能恢复?

独立阅读

以下是备课用的模拟追问,不是已发生的课堂对话或学习效果记录。

学生: 论文说 RoIAlign 更准确,这里却说换采样没用,是不是自相矛盾?

教师: 先把两个输入条件指出来。论文比较不同区域读取方式训练的模型,特征里有可以利用的空间线索;正确坐标让它读得更好。现在图上甲乙都被我们规定为同一个 .5,框也相同,读取器没有得到任何左右差别。它不是读取错了地方,而是没有不同内容可读。

学生: 那我先把 .5 放大成很多像素呢?

教师: 指着甲乙放大的第一行看,它们是不是还一样?增加输出位置没有改变函数的输入。再看下一页,我们增加左右差通道,甲是 +1、乙是 −1。这次确实提供了新信息,所以同一个读出可以给出不同答案。

学生: 实际分割不好,我怎么知道是哪种情况?

教师: 先检查标注与坐标能否对上,再固定模型做采样对照;若疑似特征不区分,可以尝试接入较细层,或设计有针对性的 probe。一次失败可能有多处原因,不能从一张模糊 mask 直接断言。

沿这个问题继续

先读本页解释与图,再到 LAB03 改一个坐标或对象。