Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例任务究竟要求留下什么信息?

先辨认空间地址,再读取通道

解释、算例与证据

P26 · 位置还在特征图里吗?

把特征图读成“空间地址+通道向量”。步长不是感受野,通道也不是预先指定的类别;池化前是否保留网格,是把分类表示迁到空间任务时的关键接口选择。与 P44 的均值碰撞配读,可以避免凭张量大小断言信息是否存在。

Lecture 03 课堂图解 P26图像中的位置空间特征 F保留网格 → 定位 / 像素全局汇总 → 整图向量空间位置与通道共同承载信息;示意格值不对应某个训练模型的激活。

两只杯子的位置从图像对应到空间特征;保留网格与全局向量两条出口。

  • 图像中的位置
  • 空间特征 F
  • 保留网格 → 定位 / 像素
  • 全局汇总 → 整图向量
  • 空间位置与通道共同承载信息;示意格值不对应某个训练模型的激活。
两只杯子的位置从图像对应到空间特征;保留网格与全局向量两条出口。 查看对应图解状态
查看完整图解

课堂讲述

分类网络中间通常不是一直只有一个向量,它会保留有空间布局的特征图。不同位置的向量描述相应区域及其上下文,再经过后续处理形成整图答案。 如果任务要找位置,就不能只盯着最终类别分数。我们要考虑在什么层读取特征、保留什么空间结构,再怎样组织预测。这里空间位置和通道共同承载信息,并不是每一个通道都被指定成一个物体类别。 这一点把第二讲的网络结构,变成了今天的任务设计问题:相同的骨干计算可以被复用,但输出要求不同,读取位置和预测部分就不能原样照搬。先看一个最直接的思路:把整张图的问题拆成候选区域的问题。

特征图上的地址、通道与感受野

独立阅读

设骨干网络给出 F∈RC×H′×W′F\in\mathbb R^{C\times H'\times W'}。选定一个网格位置 (u,v)(u,v),得到的是一个 C 维向量 F[:,u,v]F[:,u,v]。网格索引保留“从哪里读”,通道则保存学到的多种响应。某个通道可能对边缘、纹理或更复杂组合敏感,但我们通常没有事先把第 17 通道指定为“杯子”。

步长说明相邻特征位置相对原图的间隔,感受野说明该位置可以受多大输入区域影响,两者不同。步长 16 的特征点可能受比 16×16 更大的区域影响。图上画一个格子对应杯沿,只是在标读取位置,不能理解成这个向量只看了那一个小方块。

全局平均池化沿空间求均值,使分类头方便读取整图统计;若任务要定位,我们常在池化前读取网格。也不能只凭“一个向量”断言全部位置必丢:通道可能编码位置统计。P44 的反例之所以能证明无法区分,是它明确规定了编码器只取均值,而不是因为它长得像粗网格。

这给迁移增加一个具体选择:除决定冻结多少层,还要决定在何处取表示,以及输出头能否访问位置。

沿这个问题继续

先读本页解释与图,再到 LAB03 · 空间信息:表示、采样与掩码 改一个坐标或对象。

出处:FCN (2015)

图示条件与公式约定

特征图颜色为结构示意,不是模型激活。最终全局向量可能保存某些位置统计,此页不声称全局汇总后一定失去所有位置。