上采样改变读数位置,跨层连接提供额外证据
课堂上下文:从哪个问题来
比较增加输出格子与增加输入证据。最近邻和双线性只规定怎样利用现有数值;离散标签与连续 logits 的插值又不同。8×8 算例清楚给出前景 IoU、背景 IoU、mIoU 和像素准确率,避免同一个小数换四个名字。
从 12×12 分数图恢复到 48×48,可以用最近邻复制,也可以用双线性按邻域加权。输出格子多了,是为了在原图坐标上作决定;运算本身没有再次看原图。若细边界的信息已被编码成相同数值,单独放大同一张图不能判断它原来在哪。
但低分辨率并不意味着一切细节必丢。通道、相位与邻域响应可能保留可用线索,训练出的解码器可以利用它们;真正的判断是“差别有没有进入 F”,而不只是 F 的宽高。因此 P37 既不许诺放大恢复真实细节,也不否定学习上采样的价值。
跨层连接做了一件不同的事:把较细层的特征另行送进预测模块。它提供的不是同一粗特征的复制,而是另一份尚可能保留位置细节的输入。深层上下文可帮助识别这是杯子,较细响应可帮助定位杯柄与窄缝;二者仍需通过任务训练学习怎样组合。
转置卷积是可学习的线性运算形式,不是一般意义上可还原任意输入的“逆卷积”。是否保留细节,应通过同源输入、目标、预测与错误图观察。
P38 的杯柄照片只是原图参考:细、粗特征先做坐标对齐,再由预测模块学习组合,交付像素类别分数或掩码,而不是还原那张 RGB 照片。图中的特征格为结构示意,轮廓为教学标注;是否减少空洞和边界错误,要另看模型预测与目标的比较。
细、粗特征先对齐融合,再进入像素预测接口。杯柄照片独立用于检查空洞与边界;掩码轮廓为教学示意。 查看对应图解状态
- 同一图像
- 较细位置
- 较大上下文
- 对齐后融合
- 组合两层线索
- 学习像素类别分数
- 从像素监督学习
- 像素输出
- 接口示意
- 原图局部参考
- 检查空洞与边界
- 轮廓为教学标注
- 特征格为结构示意;照片不进入融合终点,右下掩码不是模型实测。