区域、像素与实例任务究竟要求留下什么信息?
先看同一张图要交付什么:类别存在性、对象框、逐像素类别和实例身份。四幅图保持底图相同,变化的是答案结构;框与 mask 是教学标注。课后从这里进入两个真正学习任务,才能把“更精细”落实为目标与评价的变化。
同一双杯书本底图的分类、检测、语义分割与实例分割四联图;语义颜色编码类别,实例颜色编码对象 ID。 查看对应图解状态查看完整图解 把同一组杯子和书换成书本遮住部分杯身的场景。下面四种答案都用这张固定底图。
先别急着看网络。请看我们要交付什么答案。分类只需报告图中有什么;检测要对多个对象给出类别和位置;语义分割要给每个像素指定类别;实例分割还要区分这些像素分别属于哪一个对象。
如果两只杯子紧挨着,语义分割可以都标成“杯子”,但这还没有告诉我们哪部分属于左边那只、哪部分属于右边那只。检测框区分了两个对象,却没有给出杯柄的精确轮廓。
所以这几类任务不是精度高低的一条刻度。它们要求不同的输出结构,也要求不同的标注和错误检查。接下来每改一次方法,都先回到这张图:这次究竟增加了哪一种要求?
在这张双杯与书的图里,分类的答案可以写成“有杯子、有书”;这两个词没有给出杯子数量,也没有把词语放到图中的位置。检测把答案改成一组对象记录,每项有类别、分数与框。语义分割交付与图像对应的类别地图;实例分割再保存每个对象的身份。
| 输出 |
双杯场景中的一项答案 |
做不到的逆推 |
| 类别存在性 |
杯子、书 |
仅凭类别列表不能恢复左右杯位置 |
| 检测 |
杯子 #1 的矩形框 |
外接框不能恢复杯把空洞 |
| 语义类别图 |
这个像素是杯子 |
同类颜色不记录杯一与杯二的分界 |
| 实例图 |
这个像素属于杯子 #1 |
可见轮廓不定义被书遮住的完整背面 |
可以把实例 ID 映射为类别,得到语义图;反过来一般没有唯一答案。两只紧挨杯子的许多实例划分,都可能对应同一张“杯子”类别图。因此四种输出不是一条从粗糙到高级的单轴刻度,而是为不同用途保存不同信息。做面积测量需要像素集合,做计数需要对象身份,快速提示操作者位置可能只需要框。
本页轮廓与框是同一底图上的教学标注,帮助定义答案;它们不是模型预测。LAB03 可以直接改变选中对象并查看局部窗口,LAB10 和 LAB11 才分别提供学习得到的框与像素输出。
同一底图与原有手工标注;语义颜色编码类别,实例颜色编码实例 ID。仅标可见轮廓,不预测被书遮住的杯子部分。
区域、像素与实例带着空间接口,怎样进入实验与语言任务?
不必按 Notebook 编号把所有内容从头运行。若刚听完课堂,先用 P25 的同一底图区分类别、框、语义与实例,再用 P41–45 的两个算例区分读取错位与表示碰撞。它们构成理解空间任务所需的最短连续线。
随后只选一项完整学习过程:关心对象位置就读 LAB10,沿图像、目标、匹配、分类/位置损失、预测与错误图走完;关心面积或边界就读 LAB11,比较 RGB 基线与 FCN、查看逐类 IoU 与窄缝错误。无需为了“完整”同时训练两本,也不要把只跑通环境当成理解模型。
LAB09 是检测公式的工作台,遇到匹配、NMS 或 AP 不清时按问题查;LAB03 是同源场景与空间读数的轻量练习。LAB16 的颜色连通域和 LAB20 的集合匹配放在选读,分别解释提示约束和对象排列,不与两项主实验争夺主线。
CLS02 提供区域到掩码的连续导读;CLS07、CLS08 分别展开检测公式与实例输出。各处按教师定稿名称和稳定 ID 回链。每个解释块有独立 URL,可直接带着具体问题交给 AI;链接中的正文先提供推理,再连接代码与原论文。