Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例瓶颈是读错位置,还是差别根本没有保留?

固定相同表示,推导为什么无法区分左右

解释、算例与证据

P44 · 两种布局,如果已经变成同一个数

本页结论来自题设明确规定的相同表示、相同框和不能回看原图。确定性后处理收到相同输入只能产生相同输出。将其与论文训练对照并排,才能区分“读取已有差别”和“创造已不存在的差别”。

Lecture 03 课堂图解 P44A:亮在左列1010B:亮在右列0101整体均值(1+0+1+0)/4整体均值(0+1+0+1)/40.50.5同一个 F同一个区域同一种读取不能区分 A / B

A=[[1,0],[1,0]] 与 B=[[0,1],[0,1]] 分别取整体均值,汇入相同 0.5 后由同一后端处理。

  • A:亮在左列
  • 1
  • 0
  • 1
  • 0
  • B:亮在右列
  • 0
  • 1
  • 0
  • 1
  • 整体均值
  • (1+0+1+0)/4
  • 整体均值
  • (0+1+0+1)/4
  • 0.5
  • 0.5
  • 同一个 F
  • 同一个区域
  • 同一种读取
  • 不能区分 A / B
A=[[1,0],[1,0]] 与 B=[[0,1],[0,1]] 分别取整体均值,汇入相同 0.5 后由同一后端处理。 查看对应图解状态
查看完整图解

课堂讲述

左边的亮像素都在左列,右边都在右列;如果任务要分辨左右,两种输入的答案不同。可是我们用整体均值作表示,两个结果都是零点五。 现在冻结这个表示。下游拿到的 F 相同,区域也相同,只依赖这些信息的同一个确定性处理,就不可能知道原来是哪一种布局。多加几个输出格子,或者换一种插值,仍然是在处理同样的输入。 这就是问卷第二题的核心。它不是在证明 RoIAlign 没用,而是在分清两个问题:读取位置错了,可以改读取;区别已经没保存,必须回到表示、输入或额外信息。相同输出不一定都来自同一种错误。

两个输入一旦碰撞,确定性读出为何无法分开

独立阅读

令甲 A=[[1,0],[1,0]]A=[[1,0],[1,0]],乙 B=[[0,1],[0,1]]B=[[0,1],[0,1]]。如果编码器只取整体均值,f(A)=f(B)=.5f(A)=f(B)=.5。进一步固定框坐标、其他特征与读出参数,且读出不能再访问原图,那么对任何确定性函数 g,都有 g(f(A),b)=g(f(B),b)g(f(A),b)=g(f(B),b)。

这不是凭直觉说“分辨率低所以不行”,而是直接用相同输入必得相同输出。把 .5 复制为 4×4,或给同一个数做插值,都是对同样输入施加同样函数;结果仍无法告诉我们亮在左边还是右边。

若允许随机性,同样条件下也只能得到相同的输出分布。偶尔猜对其中一个,并没有建立随输入布局变化而变化的判断。要系统地区分,就要重新提供差别:改变编码器保留的信息、引入另一层特征、允许回看原图,或给出不同的外部条件。

题设没有证明真实粗特征普遍只等于均值,更没有推翻 RoIAlign 的完整模型结果。它是在迫使我们说清:性能瓶颈究竟是“已有信息读错位置”,还是“需要的信息根本没有保留”。

图示条件与公式约定

构造的不可辨识例:固定确定性后端 g(F,RoI),F 与 RoI 均相同,则 g 输出相同。随机后端的条件输出分布也相同。不能从此推出 RoIAlign 没有价值。正式 Tally 不变。

这条线索的展开与后续阅读

区域、像素与实例瓶颈是读错位置,还是差别根本没有保留?

把对齐收益与信息限制放回各自条件

这段模拟追问帮助核对两类实验的固定条件,不作为已发生课堂对话。

备课推演:对齐有用,为什么问卷里又不能恢复?

独立阅读

以下是备课用的模拟追问,不是已发生的课堂对话或学习效果记录。

学生: 论文说 RoIAlign 更准确,这里却说换采样没用,是不是自相矛盾?

教师: 先把两个输入条件指出来。论文比较不同区域读取方式训练的模型,特征里有可以利用的空间线索;正确坐标让它读得更好。现在图上甲乙都被我们规定为同一个 .5,框也相同,读取器没有得到任何左右差别。它不是读取错了地方,而是没有不同内容可读。

学生: 那我先把 .5 放大成很多像素呢?

教师: 指着甲乙放大的第一行看,它们是不是还一样?增加输出位置没有改变函数的输入。再看下一页,我们增加左右差通道,甲是 +1、乙是 −1。这次确实提供了新信息,所以同一个读出可以给出不同答案。

学生: 实际分割不好,我怎么知道是哪种情况?

教师: 先检查标注与坐标能否对上,再固定模型做采样对照;若疑似特征不区分,可以尝试接入较细层,或设计有针对性的 probe。一次失败可能有多处原因,不能从一张模糊 mask 直接断言。

沿这个问题继续

先读本页解释与图,再到 LAB03 改一个坐标或对象。