区域、像素与实例区域采样怎样保住几何对应?
P43 · 同一只杯子,换一个区域就换一份局部目标
同一个对象在两个 RoI 中的局部位置不同,因此训练 target 必须与区域坐标同步。这里连接实际 mask 对应与原论文的 RoIAlign 实证;接下来固定 F 的问卷反例改变了实验条件,不否定这个正面结果。
同一红杯两个精确坐标 RoI,映射到相同大小的局部 mask 网格后呈现不同占比与位置。 查看对应图解状态查看完整图解 区域掩码是在局部坐标里预测的。同一个对象,区域取大一些或偏一些,映射到局部网格之后,目标轮廓的位置和比例也会变化。
所以区域、采样和掩码目标必须对得上。不能把一份 mask 贴在另一份不相符的区域上,然后期待网络从错误监督中学出准确边界。
这也是为什么原论文会专门比较不同的区域提取方式:掩码任务对空间对应提出了更强的要求。对我们自己的问题,关键启发是沿信息流找错误发生在哪一段,不是边界一差就直接换更大的骨干。现在再问一个更根本的问题:如果表示本身已经把两种输入混成相同数值呢?
原图位置 (x,y) 在框 b=(x0,y0,w,h) 内,可写成相对位置 ((x−x0)/w,(y−y0)/h)。杯子本身不动,框变宽后,杯子占局部窗口的比例会变小;框向右偏,杯子在局部窗口中会向左移动。
因此局部 mask 不只取决于对象轮廓,还取决于当前 RoI。训练时须将匹配实例的真值 mask 按同一框裁取并映射到目标网格;推理时再把局部预测映回该框的原图位置。若错把杯一的局部标签贴到杯二框上,网络收到的监督关系已经错了,增加参数不能补救这个对应错误。
本页显示同一杯子的两个区域,帮助区分“图像里的对象坐标”与“区域里的归一化坐标”。LAB03 的局部窗口是教学裁剪,可检查框的身份;它没有对预训练特征真正调用二维 RoIAlign。
这也是原论文需要对齐消融的理由:实例 mask 对空间对应提出更严格要求。正面实验说明正确读取有实用收益;它与 P44 的均值碰撞不矛盾,因为两个实验固定的条件不同。
统一使用原桌面红杯,题目随之从“椅子”改为“杯子”。RoI A=(177,238,390,351),RoI B=(135,210,510,420),均为 xywh。对同一可见轮廓作不同局部坐标投影,没有更改底图或补画遮挡后轮廓。
区域、像素与实例区域采样怎样保住几何对应?
Mask R-CNN v3 的 Table 2 使用 COCO trainval35k 训练、minival 测试;表中未另说明时报告 mask AP。以下固定 ResNet-50-C4、stride 16,并选同为 max 聚合的行:
| 区域读取 |
是否保留对齐 |
是否双线性 |
mask AP |
mask AP75 |
| RoIPool |
否 |
否 |
26.9 |
26.4 |
| RoIWarp |
否 |
是 |
27.2 |
27.1 |
| RoIAlign |
是 |
是 |
30.2 |
31.8 |
RoIAlign 相比 RoIPool 的 AP 增加 3.3 点,AP75 增加 5.4 点。RoIWarp 也插值却没有同样改善,支持“保持坐标对应”这一机制判断。平均聚合的 RoIAlign 行是 AP30.3/AP75 31.5,引用时不能把不同聚合行混在一个对照里。Table 2(d) 换成 C5、stride32,mask AP 从 23.6 到 30.9;这是另一组设置。
这些是训练完整模型的论文结果,不是本课程重跑。它们说明读取位置值得修复,尤其严格定位受益;P44 则把输入 F 固定成完全相同,讨论任何确定性读出都无法创造差别。方法有效与构造例中的信息限制,可以同时成立。
区域、像素与实例瓶颈是读错位置,还是差别根本没有保留?
以下是备课用的模拟追问,不是已发生的课堂对话或学习效果记录。
学生: 论文说 RoIAlign 更准确,这里却说换采样没用,是不是自相矛盾?
教师: 先把两个输入条件指出来。论文比较不同区域读取方式训练的模型,特征里有可以利用的空间线索;正确坐标让它读得更好。现在图上甲乙都被我们规定为同一个 .5,框也相同,读取器没有得到任何左右差别。它不是读取错了地方,而是没有不同内容可读。
教师: 指着甲乙放大的第一行看,它们是不是还一样?增加输出位置没有改变函数的输入。再看下一页,我们增加左右差通道,甲是 +1、乙是 −1。这次确实提供了新信息,所以同一个读出可以给出不同答案。
教师: 先检查标注与坐标能否对上,再固定模型做采样对照;若疑似特征不区分,可以尝试接入较细层,或设计有针对性的 probe。一次失败可能有多处原因,不能从一张模糊 mask 直接断言。