同一场景中,究竟多交付了什么信息?
课堂上下文:从哪个问题来
先看同一张图要交付什么:类别存在性、对象框、逐像素类别和实例身份。四幅图保持底图相同,变化的是答案结构;框与 mask 是教学标注。课后从这里进入两个真正学习任务,才能把“更精细”落实为目标与评价的变化。
在这张双杯与书的图里,分类的答案可以写成“有杯子、有书”;这两个词没有给出杯子数量,也没有把词语放到图中的位置。检测把答案改成一组对象记录,每项有类别、分数与框。语义分割交付与图像对应的类别地图;实例分割再保存每个对象的身份。
| 输出 | 双杯场景中的一项答案 | 做不到的逆推 |
|---|---|---|
| 类别存在性 | 杯子、书 | 仅凭类别列表不能恢复左右杯位置 |
| 检测 | 杯子 #1 的矩形框 | 外接框不能恢复杯把空洞 |
| 语义类别图 | 这个像素是杯子 | 同类颜色不记录杯一与杯二的分界 |
| 实例图 | 这个像素属于杯子 #1 | 可见轮廓不定义被书遮住的完整背面 |
可以把实例 ID 映射为类别,得到语义图;反过来一般没有唯一答案。两只紧挨杯子的许多实例划分,都可能对应同一张“杯子”类别图。因此四种输出不是一条从粗糙到高级的单轴刻度,而是为不同用途保存不同信息。做面积测量需要像素集合,做计数需要对象身份,快速提示操作者位置可能只需要框。
本页轮廓与框是同一底图上的教学标注,帮助定义答案;它们不是模型预测。LAB03 可以直接改变选中对象并查看局部窗口,LAB10 和 LAB11 才分别提供学习得到的框与像素输出。
同一底图的四种输出;颜色分别承担类别或实例身份。 查看对应图解状态
- 分类:图中有什么
- 杯子 · 书
- 检测:每个对象在哪里
- 类别 + 框
- 两只杯子
- 一册书
- 语义:每个像素是什么
- 颜色 = 类别
- 杯子
- 书
- 实例:属于哪一个对象
- 颜色 = 实例 ID
- 杯子 #1
- 杯子 #2
- 同一底图;框与可见轮廓为教学标注。输出结构不同,所需监督也不同。