Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例哪些信息真的改善了像素预测?

给预测模块接入另一份细位置信息

解释、算例与证据

P38 · 让细位置与深层语义重新配合

较细支路给解码器另一份可能保留位置线索的输入,但不保证边界正确;应在同一任务比较错误图与逐类 IoU。现有实验中,RGB 简单基线在原条件下胜出,FCN 在模糊后更稳健。对照两种条件,判断结构何时实际有用。

Lecture 03 课堂图解 P38同一图像较细位置较大上下文对齐后融合组合两层线索学习像素类别分数从像素监督学习像素输出接口示意原图局部参考检查空洞与边界轮廓为教学标注特征格为结构示意;照片不进入融合终点,右下掩码不是模型实测。

同一图像分别通向较细位置与较大上下文两张示意特征图,经坐标对齐融合、像素预测模块连接到掩码输出接口。下方杯柄照片单独作为空洞与边界参考,用虚线对应掩码;特征格与掩码均为教学示意,非模型实测。

  • 同一图像
  • 较细位置
  • 较大上下文
  • 对齐后融合
  • 组合两层线索
  • 学习像素类别分数
  • 从像素监督学习
  • 像素输出
  • 接口示意
  • 原图局部参考
  • 检查空洞与边界
  • 轮廓为教学标注
  • 特征格为结构示意;照片不进入融合终点,右下掩码不是模型实测。
同一图像分别通向较细位置与较大上下文两张示意特征图,经坐标对齐融合、像素预测模块连接到掩码输出接口。下方杯柄照片单独作为空洞与边界参考,用虚线对应掩码;特征格与掩码均为教学示意,非模型实测。 查看对应图解状态
查看完整图解

课堂讲述

浅层或较细分辨率的特征保留更直接的局部位置,较深层特征则整合了更大范围的内容。FCN 的跨层融合,让这些信息有机会一起参与像素预测。 请看右下方的杯柄照片,它是原图局部,用来检查我们关心哪条边界。上面的细特征与下面的粗特征先在坐标上对齐,再交给预测模块共同使用。输出的是每个位置的类别分数或掩码。粗层提供较大范围的上下文,细层提供另一份可能保留杯柄位置的线索;它们都不是现成的正确答案,怎样组合仍要从像素监督中学习。 以后你们看到 U-Net、特征金字塔等结构,可以继续追问同一个问题:它在什么分辨率上保留和组合信息?这一点比把所有跳跃连接都叫成 ResNet 更重要。操作相似,不代表它们首先解决的是同一个问题。

上采样改变读数位置,跨层连接提供额外证据

独立阅读

从 12×12 分数图恢复到 48×48,可以用最近邻复制,也可以用双线性按邻域加权。输出格子多了,是为了在原图坐标上作决定;运算本身没有再次看原图。若细边界的信息已被编码成相同数值,单独放大同一张图不能判断它原来在哪。

但低分辨率并不意味着一切细节必丢。通道、相位与邻域响应可能保留可用线索,训练出的解码器可以利用它们;真正的判断是“差别有没有进入 F”,而不只是 F 的宽高。因此 P37 既不许诺放大恢复真实细节,也不否定学习上采样的价值。

跨层连接做了一件不同的事:把较细层的特征另行送进预测模块。它提供的不是同一粗特征的复制,而是另一份尚可能保留位置细节的输入。深层上下文可帮助识别这是杯子,较细响应可帮助定位杯柄与窄缝;二者仍需通过任务训练学习怎样组合。

转置卷积是可学习的线性运算形式,不是一般意义上可还原任意输入的“逆卷积”。是否保留细节,应通过同源输入、目标、预测与错误图观察。

P38 的杯柄照片只是原图参考:细、粗特征先做坐标对齐,再由预测模块学习组合,交付像素类别分数或掩码,而不是还原那张 RGB 照片。图中的特征格为结构示意,轮廓为教学标注;是否减少空洞和边界错误,要另看模型预测与目标的比较。

图示条件与公式约定

两路特征先对齐再融合,交给从像素监督学习的预测模块。杯柄照片来自同一原图,只是局部参考,不是特征图或预测结果。特征格是结构示意;像素输出接口所画轮廓是教学标注。此页不把浅层叫“真实位置答案”、深层叫“真实类别答案”。

这条线索的展开与后续阅读

区域、像素与实例哪些信息真的改善了像素预测?

选读:沿计算图比较 FCN、U-Net 与 FPN

先问细信息来自哪里、怎样对齐和组合,再比较结构名称。

选读:FCN、U-Net、FPN 的连接究竟送来了什么

独立阅读

把“有跳连”当成一个共同名字,容易遮住任务差异。FCN 的跳接把较细层的空间线索与粗语义预测结合,服务于逐像素输出;U-Net 的编码—解码路径将高分辨率特征接到相应解码层;FPN 自顶向下融合与横向连接,形成可供不同尺度对象使用的特征层级。

观察点 应在计算图里找什么
较细信息从哪里来 原图或编码器哪个中间层,而非只看上采样箭头
怎么对齐 两条支路的步长、尺寸、坐标约定
怎样组合 相加或拼接,组合后是否再有可学习预测
服务哪个目标 单张类别图、多尺度框、局部实例 mask

如果原图中 4×4 像素的目标进入 stride16 网格,其连续跨度只有 1/4×1/4 格;这使位置读取困难,但不能仅据小于一格断言信息必全丢,通道仍可能记录响应。更细输入或跨层特征带来新的观测机会,是否改善要在指定任务上检查。

保留这份比较,是为学生读到结构名时有判断坐标;本轮主讲不再把它拆为几个平行论文段落。

区域、像素与实例哪些信息真的改善了像素预测?

进入 LAB11:保留简单基线再看条件变化

有了机制假设,再用已有同条件结果判断额外结构的实际作用。

同一组分割实验里,简单模型为何值得留下

独立阅读

当前 LAB11 同时训练逐像素 RGB 线性读出和小型 FCN。输入 48×48 RGB,标签是背景、红矩形、蓝椭圆;384 张训练图与 128 张保留图按场景种子分开。FCN 用粗分数与细分支融合,RGB 基线则只用 Conv2d(3,3,1),共 12 个参数,不能看邻域。

已有 2026-09-22 本地完整运行中,原始合成图的 RGB 基线三类 mIoU=1,FCN=.99041;对输入做 5×5 模糊后,二者变为 .84996 与 .92397。原分布上简单模型胜出说明颜色已足够决定类别;模糊使边缘颜色混合,FCN 利用邻域在该干预下更稳健。两项观察共同说明为什么需要基线:它既暴露任务太容易的地方,也帮助找出复杂结构实际增加能力的条件。

同一 FCN 参数,推理时仅把双线性改为最近邻,mIoU 变成 .91180。这检验训练/推理采样约定的敏感性,没有分别重训两种网络,不能当成插值方式的普遍排名。

本轮整理只复用已有记录,没有重跑。完整学习证据在 RGB→模型→logits→mask 链条;P37 的已知 mask 缩放热身则解释采样,二者都保留,作用分清。

区域、像素与实例哪些信息真的改善了像素预测?

把总体准确率拆回目标与边界错误

平均数会被面积分布影响;回到逐类结果和错误像素才能定位问题。

像素准确率很高,为什么小对象仍可能很差

独立阅读

一张大部分为背景的图,只要把背景判对,整体像素准确率就会很高。假设 10000 个像素里只有 100 个属于目标,全部预测背景就有 99% 准确率,但目标 IoU 为零。这个算例说明面积不平衡如何隐藏感兴趣类别的失败。

LAB11 的同权重尺度 ×.45 对照更具体:像素准确率 .99816,而蓝椭圆 IoU 为 .85763、红矩形 .97613、背景 .99812。按三类等权平均得到 .94396。蓝对象与背景窄缝更细,发生少量像素错误就显著影响目标的比例。

查看失败图时要把输入、真值和错误像素并排。若杯把空洞消失,可能是原观测不清、特征混合、读出不对齐或任务头没学好;单看总数不能定位原因。可以先冻结其余条件,改变输入尺度或采样方式,再追踪错误是否沿边界集中。

本页连接细/粗特征的目的不是保证某个结构胜出,而是让我们可以问一个可测问题:增加细分支是否在同一输入和训练协议下,实际减少了所关心的窄缝错误?已有实验提供起点,完整架构对照仍需另设。

区域、像素与实例选读:输出组织与训练分配还可以怎样改变?

把难例权重与对象匹配分成两件事

一种训练调整影响样本权重,另一种先确定预测与目标的对应。

选读:难例权重和对象匹配不是一件事

独立阅读

大量背景参考框已经很容易分类,却可能因数量占优而贡献大量总损失。focal loss 在基本交叉熵外乘 (1−pt)γ(1-p_t)^\gamma。取 γ=2,正确类概率 .9 的样本权重 .01,概率 .5 的权重 .25,后者相对贡献更大。这是在调整哪些样本值得继续关注,不直接增加空间信息,也不指定哪项预测负责哪只对象。

对象匹配回答另一件事:当真值是一组无序对象,预测槽位该怎样对应它们?给两预测、两真值的代价矩阵 [[2,.3],[.4,2]],对角总代价 4,交叉 .7,所以选择交叉。交换标注数组顺序不该改变对象集合本身,匹配用于消除这个任意顺序。

LAB20 从类别概率、框 L1 与 IoU 实际构造成本,再穷举 2! 分配;它是足够透明的解析练习。这里没有图像编码器学习,也不是完整 DETR。主讲保留对象身份的必要性,这些损失组织细节进入选读即可,不必为保持课程丰富而重新开一章。

区域、像素与实例带着空间接口,怎样进入实验与语言任务?

选择一项完整实验,不按编号机械运行

按科研问题选择定位或像素路径,再用解析练习补齐具体疑问。

这条主线的课后顺序:先看输出,再做一项完整实验

独立阅读

不必按 Notebook 编号把所有内容从头运行。若刚听完课堂,先用 P25 的同一底图区分类别、框、语义与实例,再用 P41–45 的两个算例区分读取错位与表示碰撞。它们构成理解空间任务所需的最短连续线。

随后只选一项完整学习过程:关心对象位置就读 LAB10,沿图像、目标、匹配、分类/位置损失、预测与错误图走完;关心面积或边界就读 LAB11,比较 RGB 基线与 FCN、查看逐类 IoU 与窄缝错误。无需为了“完整”同时训练两本,也不要把只跑通环境当成理解模型。

LAB09 是检测公式的工作台,遇到匹配、NMS 或 AP 不清时按问题查;LAB03 是同源场景与空间读数的轻量练习。LAB16 的颜色连通域和 LAB20 的集合匹配放在选读,分别解释提示约束和对象排列,不与两项主实验争夺主线。

CLS02 提供区域到掩码的连续导读;CLS07、CLS08 分别展开检测公式与实例输出。各处按教师定稿名称和稳定 ID 回链。每个解释块有独立 URL,可直接带着具体问题交给 AI;链接中的正文先提供推理,再连接代码与原论文。

沿着图解追问

以下是备课用的模拟师生对话,不是课堂实录。

学生:两张特征图相加,就能还原这张杯柄照片吗?

教师:本页不是还原RGB。照片是参考,输出是像素类别;融合提供两种尺度的线索,是否真的减少空洞或边界错误,要看预测与目标的比较。

沿这个问题继续

先读 CLS08 的像素目标与指标,再到 LAB11 查看已有预测、RGB 基线和错误图。其余入口见本部分更多学习路径。

按问题回查的讲解与短练习(7)

出处:FCN (2015)