## 先辨认空间地址,再读取通道 ## 解释、算例与证据 # P26 · 位置还在特征图里吗? 把特征图读成“空间地址+通道向量”。步长不是感受野,通道也不是预先指定的类别;池化前是否保留网格,是把分类表示迁到空间任务时的关键接口选择。与 P44 的均值碰撞配读,可以避免凭张量大小断言信息是否存在。 图内标签与数值:Lecture 03 课堂图解 P26;图像中的位置;空间特征 F;保留网格 → 定位 / 像素;全局汇总 → 整图向量;空间位置与通道共同承载信息;示意格值不对应某个训练模型的激活。 两只杯子的位置从图像对应到空间特征;保留网格与全局向量两条出口。 - 图像中的位置 - 空间特征 F - 保留网格 → 定位 / 像素 - 全局汇总 → 整图向量 - 空间位置与通道共同承载信息;示意格值不对应某个训练模型的激活。两只杯子的位置从图像对应到空间特征;保留网格与全局向量两条出口。 [查看对应图解状态](/#/l3-r2-p26/0)[查看完整图解](/course/figures/l3-r2-p26-0.html) ## 课堂讲述 分类网络中间通常不是一直只有一个向量,它会保留有空间布局的特征图。不同位置的向量描述相应区域及其上下文,再经过后续处理形成整图答案。 如果任务要找位置,就不能只盯着最终类别分数。我们要考虑在什么层读取特征、保留什么空间结构,再怎样组织预测。这里空间位置和通道共同承载信息,并不是每一个通道都被指定成一个物体类别。 这一点把第二讲的网络结构,变成了今天的任务设计问题:相同的骨干计算可以被复用,但输出要求不同,读取位置和预测部分就不能原样照搬。先看一个最直接的思路:把整张图的问题拆成候选区域的问题。 ### 特征图上的地址、通道与感受野 [独立阅读](/course/blocks/spatial-feature-address.html) 设骨干网络给出 $F\in\mathbb R^{C\times H'\times W'}$。选定一个网格位置 $(u,v)$,得到的是一个 C 维向量 $F[:,u,v]$。网格索引保留“从哪里读”,通道则保存学到的多种响应。某个通道可能对边缘、纹理或更复杂组合敏感,但我们通常没有事先把第 17 通道指定为“杯子”。 步长说明相邻特征位置相对原图的间隔,感受野说明该位置可以受多大输入区域影响,两者不同。步长 16 的特征点可能受比 16×16 更大的区域影响。图上画一个格子对应杯沿,只是在标读取位置,不能理解成这个向量只看了那一个小方块。 全局平均池化沿空间求均值,使分类头方便读取整图统计;若任务要定位,我们常在池化前读取网格。也不能只凭“一个向量”断言全部位置必丢:通道可能编码位置统计。P44 的反例之所以能证明无法区分,是它明确规定了编码器只取均值,而不是因为它长得像粗网格。 这给迁移增加一个具体选择:除决定冻结多少层,还要决定在何处取表示,以及输出头能否访问位置。 ## 沿这个问题继续 先读本页解释与图,再到 [LAB03 · 空间信息:表示、采样与掩码](/course/notebooks/49a2c030eafa4e1db6fc4f1a08c3810a.html) 改一个坐标或对象。 **出处:**[FCN (2015)](https://arxiv.org/abs/1411.4038) #### 图示条件与公式约定 特征图颜色为结构示意,不是模型激活。最终全局向量可能保存某些位置统计,此页不声称全局汇总后一定失去所有位置。