Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例怎样让每一份轮廓属于一个明确对象?

一个 RoI 的三项输出,为什么不是三个类别标签

独立阅读
课堂上下文:从哪个问题来

一个 RoI 的类别、框与局部 mask 有不同输出形状和监督。mask 分支需要二维布局,并以当前实例为目标,框中另一个同类对象不该被顺便选中。P41–43 接着检验区域读出与目标坐标是否真的一致。

同一 RoI 可以给出类别、四个框偏移和一个二维掩码。前两项可以汇总为短向量;mask 却需要保留“区域左上、右下分别是什么”的空间关系。把区域特征完全摊成不带布局的统计,会给逐像素对应增加负担。

画面中原图局部只帮助我们指认对象。真正进入区域任务头的是从共享特征 F 读取的区域特征;其空间格子保存相对位置,每格还可以有多个通道。后两页检验这一读取怎样保持连续坐标对应。

Mask R-CNN 的掩码分支在 RoI 内预测固定大小的二值图。原论文的默认实现对每个类别各预测一张 sigmoid mask,训练时只计算真值类别对应的掩码损失;区域分类分支负责决定类别。因此掩码像素回答的是“是否属于本实例”,不是让所有对象类别在每个 RoI 像素上再次竞争。

用杯子的例子理解:RoI 已对应杯一,框里即使还露出杯二的一部分,杯一的目标 mask 仍只标杯一。两个区域可以都被分类为杯子,分别交付各自的二值轮廓。这种分工让实例身份与像素预测接在一起。

本课程并没有在 LAB11 训练完整 Mask R-CNN;LAB11 是三类语义分割。Mask R-CNN 的训练证据来自原论文,坐标、局部目标和插值机制则可由 LAB03 的小算例独立检验。

Lecture 03 课堂图解 P40原图 + 当前 RoI共享 FRoI 读取二维区域特征 F_RoI类别:杯子框:位置修正原图局部:仅用于对应对象实例二值 mask教学目标示意 · 非模型预测三项任务读取共享 F 中的区域特征;照片仅作参考,mask 保持二维局部布局。

共享 F 读取出的二维区域特征进入三项任务头;照片独立作参考,掩码是教学目标示意。 查看对应图解状态

  • 原图 + 当前 RoI
  • 共享 F
  • RoI 读取
  • 二维区域特征 F_RoI
  • 类别:杯子
  • 框:位置修正
  • 原图局部:仅用于对应对象
  • 实例
  • 二值 mask
  • 教学目标示意 · 非模型预测
  • 三项任务读取共享 F 中的区域特征;照片仅作参考,mask 保持二维局部布局。
共享 F 读取出的二维区域特征进入三项任务头;照片独立作参考,掩码是教学目标示意。 查看对应图解状态
查看完整图解

继续阅读与实验