Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例区域采样怎样保住几何对应?

同一杯子换了区域,局部目标也要变

解释、算例与证据

P43 · 同一只杯子,换一个区域就换一份局部目标

同一个对象在两个 RoI 中的局部位置不同,因此训练 target 必须与区域坐标同步。这里连接实际 mask 对应与原论文的 RoIAlign 实证;接下来固定 F 的问卷反例改变了实验条件,不否定这个正面结果。

Lecture 03 课堂图解 P43同一只杯子,两份 RoIRoI A:更紧局部目标占比更大RoI B:更宽轮廓更小,位置也改变同一可见轮廓映射到不同局部坐标;区域范围、采样与 mask 目标必须一致。

同一红杯两个精确坐标 RoI,映射到相同大小的局部 mask 网格后呈现不同占比与位置。

  • 同一只杯子,两份 RoI
  • RoI A:更紧
  • 局部目标占比更大
  • RoI B:更宽
  • 轮廓更小,位置也改变
  • 同一可见轮廓映射到不同局部坐标;区域范围、采样与 mask 目标必须一致。
同一红杯两个精确坐标 RoI,映射到相同大小的局部 mask 网格后呈现不同占比与位置。 查看对应图解状态
查看完整图解

课堂讲述

区域掩码是在局部坐标里预测的。同一个对象,区域取大一些或偏一些,映射到局部网格之后,目标轮廓的位置和比例也会变化。 所以区域、采样和掩码目标必须对得上。不能把一份 mask 贴在另一份不相符的区域上,然后期待网络从错误监督中学出准确边界。 这也是为什么原论文会专门比较不同的区域提取方式:掩码任务对空间对应提出了更强的要求。对我们自己的问题,关键启发是沿信息流找错误发生在哪一段,不是边界一差就直接换更大的骨干。现在再问一个更根本的问题:如果表示本身已经把两种输入混成相同数值呢?

同一只杯子换了 RoI,局部标签也要跟着换

独立阅读

原图位置 (x,y)(x,y) 在框 b=(x0,y0,w,h)b=(x_0,y_0,w,h) 内,可写成相对位置 ((x−x0)/w,(y−y0)/h)((x-x_0)/w,(y-y_0)/h)。杯子本身不动,框变宽后,杯子占局部窗口的比例会变小;框向右偏,杯子在局部窗口中会向左移动。

因此局部 mask 不只取决于对象轮廓,还取决于当前 RoI。训练时须将匹配实例的真值 mask 按同一框裁取并映射到目标网格;推理时再把局部预测映回该框的原图位置。若错把杯一的局部标签贴到杯二框上,网络收到的监督关系已经错了,增加参数不能补救这个对应错误。

本页显示同一杯子的两个区域,帮助区分“图像里的对象坐标”与“区域里的归一化坐标”。LAB03 的局部窗口是教学裁剪,可检查框的身份;它没有对预训练特征真正调用二维 RoIAlign。

这也是原论文需要对齐消融的理由:实例 mask 对空间对应提出更严格要求。正面实验说明正确读取有实用收益;它与 P44 的均值碰撞不矛盾,因为两个实验固定的条件不同。

图示条件与公式约定

统一使用原桌面红杯,题目随之从“椅子”改为“杯子”。RoI A=(177,238,390,351),RoI B=(135,210,510,420),均为 xywh。对同一可见轮廓作不同局部坐标投影,没有更改底图或补画遮挡后轮廓。

这条线索的展开与后续阅读

区域、像素与实例区域采样怎样保住几何对应?

在同一设置下比较 RoIPool、RoIWarp 与 RoIAlign

计算说明组件怎样工作;论文同条件对照再检验它是否改变任务表现。

原论文的对照:对齐改善了哪些指标

独立阅读

Mask R-CNN v3 的 Table 2 使用 COCO trainval35k 训练、minival 测试;表中未另说明时报告 mask AP。以下固定 ResNet-50-C4、stride 16,并选同为 max 聚合的行:

区域读取 是否保留对齐 是否双线性 mask AP mask AP75
RoIPool 否 否 26.9 26.4
RoIWarp 否 是 27.2 27.1
RoIAlign 是 是 30.2 31.8

RoIAlign 相比 RoIPool 的 AP 增加 3.3 点,AP75 增加 5.4 点。RoIWarp 也插值却没有同样改善,支持“保持坐标对应”这一机制判断。平均聚合的 RoIAlign 行是 AP30.3/AP75 31.5,引用时不能把不同聚合行混在一个对照里。Table 2(d) 换成 C5、stride32,mask AP 从 23.6 到 30.9;这是另一组设置。

这些是训练完整模型的论文结果,不是本课程重跑。它们说明读取位置值得修复,尤其严格定位受益;P44 则把输入 F 固定成完全相同,讨论任何确定性读出都无法创造差别。方法有效与构造例中的信息限制,可以同时成立。

区域、像素与实例瓶颈是读错位置,还是差别根本没有保留?

把对齐收益与信息限制放回各自条件

这段模拟追问帮助核对两类实验的固定条件,不作为已发生课堂对话。

备课推演:对齐有用,为什么问卷里又不能恢复?

独立阅读

以下是备课用的模拟追问,不是已发生的课堂对话或学习效果记录。

学生: 论文说 RoIAlign 更准确,这里却说换采样没用,是不是自相矛盾?

教师: 先把两个输入条件指出来。论文比较不同区域读取方式训练的模型,特征里有可以利用的空间线索;正确坐标让它读得更好。现在图上甲乙都被我们规定为同一个 .5,框也相同,读取器没有得到任何左右差别。它不是读取错了地方,而是没有不同内容可读。

学生: 那我先把 .5 放大成很多像素呢?

教师: 指着甲乙放大的第一行看,它们是不是还一样?增加输出位置没有改变函数的输入。再看下一页,我们增加左右差通道,甲是 +1、乙是 −1。这次确实提供了新信息,所以同一个读出可以给出不同答案。

学生: 实际分割不好,我怎么知道是哪种情况?

教师: 先检查标注与坐标能否对上,再固定模型做采样对照;若疑似特征不区分,可以尝试接入较细层,或设计有针对性的 probe。一次失败可能有多处原因,不能从一张模糊 mask 直接断言。

沿这个问题继续

先读本页解释与图,再到 LAB03 改一个坐标或对象。

按问题回查的讲解与短练习(1)