Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例任务究竟要求留下什么信息?

同一场景中,究竟多交付了什么信息?

独立阅读
课堂上下文:从哪个问题来

先看同一张图要交付什么:类别存在性、对象框、逐像素类别和实例身份。四幅图保持底图相同,变化的是答案结构;框与 mask 是教学标注。课后从这里进入两个真正学习任务,才能把“更精细”落实为目标与评价的变化。

在这张双杯与书的图里,分类的答案可以写成“有杯子、有书”;这两个词没有给出杯子数量,也没有把词语放到图中的位置。检测把答案改成一组对象记录,每项有类别、分数与框。语义分割交付与图像对应的类别地图;实例分割再保存每个对象的身份。

输出 双杯场景中的一项答案 做不到的逆推
类别存在性 杯子、书 仅凭类别列表不能恢复左右杯位置
检测 杯子 #1 的矩形框 外接框不能恢复杯把空洞
语义类别图 这个像素是杯子 同类颜色不记录杯一与杯二的分界
实例图 这个像素属于杯子 #1 可见轮廓不定义被书遮住的完整背面

可以把实例 ID 映射为类别,得到语义图;反过来一般没有唯一答案。两只紧挨杯子的许多实例划分,都可能对应同一张“杯子”类别图。因此四种输出不是一条从粗糙到高级的单轴刻度,而是为不同用途保存不同信息。做面积测量需要像素集合,做计数需要对象身份,快速提示操作者位置可能只需要框。

本页轮廓与框是同一底图上的教学标注,帮助定义答案;它们不是模型预测。LAB03 可以直接改变选中对象并查看局部窗口,LAB10 和 LAB11 才分别提供学习得到的框与像素输出。

Lecture 03 课堂图解 P25分类:图中有什么杯子 · 书检测:每个对象在哪里类别 + 框两只杯子一册书语义:每个像素是什么颜色 = 类别杯子书实例:属于哪一个对象颜色 = 实例 ID杯子 #1杯子 #2同一底图;框与可见轮廓为教学标注。输出结构不同,所需监督也不同。

同一底图的四种输出;颜色分别承担类别或实例身份。 查看对应图解状态

  • 分类:图中有什么
  • 杯子 · 书
  • 检测:每个对象在哪里
  • 类别 + 框
  • 两只杯子
  • 一册书
  • 语义:每个像素是什么
  • 颜色 = 类别
  • 杯子
  • 书
  • 实例:属于哪一个对象
  • 颜色 = 实例 ID
  • 杯子 #1
  • 杯子 #2
  • 同一底图;框与可见轮廓为教学标注。输出结构不同,所需监督也不同。
同一底图的四种输出;颜色分别承担类别或实例身份。 查看对应图解状态
查看完整图解

继续阅读与实验