Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例任务究竟要求留下什么信息?

在同一场景里比较四种答案

解释、算例与证据

P25 · 同一张图,四种不同的答案

先看同一张图要交付什么:类别存在性、对象框、逐像素类别和实例身份。四幅图保持底图相同,变化的是答案结构;框与 mask 是教学标注。课后从这里进入两个真正学习任务,才能把“更精细”落实为目标与评价的变化。

Lecture 03 课堂图解 P25分类:图中有什么杯子 · 书检测:每个对象在哪里类别 + 框两只杯子一册书语义:每个像素是什么颜色 = 类别杯子书实例:属于哪一个对象颜色 = 实例 ID杯子 #1杯子 #2同一底图;框与可见轮廓为教学标注。输出结构不同,所需监督也不同。

同一双杯书本底图的分类、检测、语义分割与实例分割四联图;语义颜色编码类别,实例颜色编码对象 ID。

  • 分类:图中有什么
  • 杯子 · 书
  • 检测:每个对象在哪里
  • 类别 + 框
  • 两只杯子
  • 一册书
  • 语义:每个像素是什么
  • 颜色 = 类别
  • 杯子
  • 书
  • 实例:属于哪一个对象
  • 颜色 = 实例 ID
  • 杯子 #1
  • 杯子 #2
  • 同一底图;框与可见轮廓为教学标注。输出结构不同,所需监督也不同。
同一双杯书本底图的分类、检测、语义分割与实例分割四联图;语义颜色编码类别,实例颜色编码对象 ID。 查看对应图解状态
查看完整图解

课堂讲述

把同一组杯子和书换成书本遮住部分杯身的场景。下面四种答案都用这张固定底图。 先别急着看网络。请看我们要交付什么答案。分类只需报告图中有什么;检测要对多个对象给出类别和位置;语义分割要给每个像素指定类别;实例分割还要区分这些像素分别属于哪一个对象。 如果两只杯子紧挨着,语义分割可以都标成“杯子”,但这还没有告诉我们哪部分属于左边那只、哪部分属于右边那只。检测框区分了两个对象,却没有给出杯柄的精确轮廓。 所以这几类任务不是精度高低的一条刻度。它们要求不同的输出结构,也要求不同的标注和错误检查。接下来每改一次方法,都先回到这张图:这次究竟增加了哪一种要求?

同一场景中,究竟多交付了什么信息?

独立阅读

在这张双杯与书的图里,分类的答案可以写成“有杯子、有书”;这两个词没有给出杯子数量,也没有把词语放到图中的位置。检测把答案改成一组对象记录,每项有类别、分数与框。语义分割交付与图像对应的类别地图;实例分割再保存每个对象的身份。

输出 双杯场景中的一项答案 做不到的逆推
类别存在性 杯子、书 仅凭类别列表不能恢复左右杯位置
检测 杯子 #1 的矩形框 外接框不能恢复杯把空洞
语义类别图 这个像素是杯子 同类颜色不记录杯一与杯二的分界
实例图 这个像素属于杯子 #1 可见轮廓不定义被书遮住的完整背面

可以把实例 ID 映射为类别,得到语义图;反过来一般没有唯一答案。两只紧挨杯子的许多实例划分,都可能对应同一张“杯子”类别图。因此四种输出不是一条从粗糙到高级的单轴刻度,而是为不同用途保存不同信息。做面积测量需要像素集合,做计数需要对象身份,快速提示操作者位置可能只需要框。

本页轮廓与框是同一底图上的教学标注,帮助定义答案;它们不是模型预测。LAB03 可以直接改变选中对象并查看局部窗口,LAB10 和 LAB11 才分别提供学习得到的框与像素输出。

图示条件与公式约定

同一底图与原有手工标注;语义颜色编码类别,实例颜色编码实例 ID。仅标可见轮廓,不预测被书遮住的杯子部分。

这条线索的展开与后续阅读

区域、像素与实例带着空间接口,怎样进入实验与语言任务?

选择一项完整实验,不按编号机械运行

按科研问题选择定位或像素路径,再用解析练习补齐具体疑问。

这条主线的课后顺序:先看输出,再做一项完整实验

独立阅读

不必按 Notebook 编号把所有内容从头运行。若刚听完课堂,先用 P25 的同一底图区分类别、框、语义与实例,再用 P41–45 的两个算例区分读取错位与表示碰撞。它们构成理解空间任务所需的最短连续线。

随后只选一项完整学习过程:关心对象位置就读 LAB10,沿图像、目标、匹配、分类/位置损失、预测与错误图走完;关心面积或边界就读 LAB11,比较 RGB 基线与 FCN、查看逐类 IoU 与窄缝错误。无需为了“完整”同时训练两本,也不要把只跑通环境当成理解模型。

LAB09 是检测公式的工作台,遇到匹配、NMS 或 AP 不清时按问题查;LAB03 是同源场景与空间读数的轻量练习。LAB16 的颜色连通域和 LAB20 的集合匹配放在选读,分别解释提示约束和对象排列,不与两项主实验争夺主线。

CLS02 提供区域到掩码的连续导读;CLS07、CLS08 分别展开检测公式与实例输出。各处按教师定稿名称和稳定 ID 回链。每个解释块有独立 URL,可直接带着具体问题交给 AI;链接中的正文先提供推理,再连接代码与原论文。

沿这个问题继续

先读本页解释与图,再到 LAB03 改一个坐标或对象。

按问题回查的讲解与短练习(7)