Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例怎样直接学习一张像素类别地图?

另起像素路线:整图直接预测类别地图

解释、算例与证据

P36 · FCN:另一条路线,直接为像素作预测

FCN 从逐像素类别图出发,独立于区域检测路线。将 [B,C,H,W] logits 与 [B,H,W] 标签一一对应,理解分割损失和 ignore 像素。LAB11 从图像预测 mask;已知 mask 的缩放练习只检验采样,不检验视觉预测。

Lecture 03 课堂图解 P36区域路线与像素路线,目标不同R-CNN → Fast → Faster一组对象:类别 + 框FCN · 每位置类别分数语义类别地图Long · Shelhamer · Darrell,2014 预印本 / CVPR 2015FCN 是密集像素预测路线,不是 Faster R-CNN 的下一代。

区域检测路线与 FCN 像素路线分开;全图到空间特征再到语义 mask,署名 Long、Shelhamer、Darrell。

  • 区域路线与像素路线,目标不同
  • R-CNN → Fast → Faster
  • 一组对象:类别 + 框
  • FCN · 每位置类别分数
  • 语义类别地图
  • Long · Shelhamer · Darrell,2014 预印本 / CVPR 2015
  • FCN 是密集像素预测路线,不是 Faster R-CNN 的下一代。
区域检测路线与 FCN 像素路线分开;全图到空间特征再到语义 mask,署名 Long、Shelhamer、Darrell。 查看对应图解状态
查看完整图解

课堂讲述

前面以区域为单位组织检测。另一个问题是:能不能直接为整张图上的每个位置给出类别?这就是语义分割的像素预测路线。 FCN 把分类网络中的计算改造成适合密集输出的形式,让空间位置对应到类别预测。它不是 Fast 或 Faster R-CNN 后面的自然“下一代”,而是有独立目标的一条路线。Long、Shelhamer 和 Darrell 的工作,要在这个问题里理解。 请把两种输出摆在一起看:检测输出一组对象,语义分割输出一张类别地图。如果我们的科研任务关心组织、地表或材料区域的归属,后者就是直接的任务接口。接下来真正困难的是:网络深层的空间网格通常已经变粗,怎样交付像素级结果?

FCN 直接学习一张类别地图

独立阅读

如果用途是给组织切片的每个像素指定类别,先列一组外接框可能并不是自然起点。FCN 从空间网格出发:把分类网络改成可对不同输入大小输出空间分数图的计算,接受逐像素标签训练,再恢复到目标分辨率。

一个 C 类分割模型可以交付 [B,C,H,W] logits,每个像素有 C 个实数;目标 [B,H,W] 保存该像素的整数类别。类别维 softmax 决定“同一位置是哪类”,空间维则保留“这个判断在哪里”。如果把所有空间位置先平均成一个类别向量,就改了任务。

FCN 与区域检测是两条并行问题线:前者组织像素类别,后者组织对象集合。两条线都能利用分类预训练,却不能把 FCN 描述为 Faster R-CNN 的后继版本。原始 2014/2015 FCN 摘要报告 VOC 2012 的 mean IU 为 62.2%;2016 扩展版本有不同数字,引用时需区分版本。

最值得带回科研任务的是这个接口改变:表示能迁移,并不意味着原输出头能直接交付新答案。标注的单位变成像素,损失与评价也须随之改变。

图示条件与公式约定

FCN 是 Long、Shelhamer、Darrell 的独立密集预测路线。不要把课堂先讲 Faster 的顺序理解成 FCN 历史上后继于 Faster。

这条线索的展开与后续阅读

区域、像素与实例怎样直接学习一张像素类别地图?

让 logits、标签和有效像素一一对应

先建立像素坐标与类别标签的对应,再解释损失和忽略位置。

每个有效像素提供一项监督

独立阅读

对目标类别为 yuvy_{uv} 的像素,交叉熵是 −log⁡pyuv,u,v-\log p_{y_{uv},u,v}。若有效像素集合为 Ω,平均损失写成

L=−1∣Ω∣∑(u,v)∈Ωlog⁡pyuv,u,v. L=-\frac{1}{|\Omega|}\sum_{(u,v)\in\Omega}\log p_{y_{uv},u,v}.

三类 logits [B,3,H,W] 与整数目标 [B,H,W] 相配;不要把类别 ID 当成连续数直接算回归平方误差。二类分割也可只预测一个前景 logit,用 sigmoid 与二元交叉熵,这时标签与输出接口跟三类方案不同。

未标注位置常用 ignore=255。它表示“不在这里计算监督和指标”,不表示第四类,也不等于背景。LAB11 的损失和混淆矩阵都排除这些位置;否则模型可能因为迎合不存在的背景标签而产生错误梯度。

图像翻转、裁剪或缩放时,目标地图必须接受同一几何变换。RGB 图能用连续插值,离散 mask 通常用最近邻;把类 1 与类 3 插出“类 2”没有语义依据。先保证一处图像像素仍对应同一处目标,训练曲线才有解释价值。

区域、像素与实例哪些信息真的改善了像素预测?

进入 LAB11:保留简单基线再看条件变化

有了机制假设,再用已有同条件结果判断额外结构的实际作用。

同一组分割实验里,简单模型为何值得留下

独立阅读

当前 LAB11 同时训练逐像素 RGB 线性读出和小型 FCN。输入 48×48 RGB,标签是背景、红矩形、蓝椭圆;384 张训练图与 128 张保留图按场景种子分开。FCN 用粗分数与细分支融合,RGB 基线则只用 Conv2d(3,3,1),共 12 个参数,不能看邻域。

已有 2026-09-22 本地完整运行中,原始合成图的 RGB 基线三类 mIoU=1,FCN=.99041;对输入做 5×5 模糊后,二者变为 .84996 与 .92397。原分布上简单模型胜出说明颜色已足够决定类别;模糊使边缘颜色混合,FCN 利用邻域在该干预下更稳健。两项观察共同说明为什么需要基线:它既暴露任务太容易的地方,也帮助找出复杂结构实际增加能力的条件。

同一 FCN 参数,推理时仅把双线性改为最近邻,mIoU 变成 .91180。这检验训练/推理采样约定的敏感性,没有分别重训两种网络,不能当成插值方式的普遍排名。

本轮整理只复用已有记录,没有重跑。完整学习证据在 RGB→模型→logits→mask 链条;P37 的已知 mask 缩放热身则解释采样,二者都保留,作用分清。

沿这个问题继续

沿 CLS08 的像素目标与指标阅读,再选 LAB11 查看已有预测和错误图。

按问题回查的讲解与短练习(1)

出处:FCN (2015)