Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例哪些信息真的改善了像素预测?

上采样改变读数位置,跨层连接提供额外证据

独立阅读
课堂上下文:从哪个问题来

比较增加输出格子与增加输入证据。最近邻和双线性只规定怎样利用现有数值;离散标签与连续 logits 的插值又不同。8×8 算例清楚给出前景 IoU、背景 IoU、mIoU 和像素准确率,避免同一个小数换四个名字。

从 12×12 分数图恢复到 48×48,可以用最近邻复制,也可以用双线性按邻域加权。输出格子多了,是为了在原图坐标上作决定;运算本身没有再次看原图。若细边界的信息已被编码成相同数值,单独放大同一张图不能判断它原来在哪。

但低分辨率并不意味着一切细节必丢。通道、相位与邻域响应可能保留可用线索,训练出的解码器可以利用它们;真正的判断是“差别有没有进入 F”,而不只是 F 的宽高。因此 P37 既不许诺放大恢复真实细节,也不否定学习上采样的价值。

跨层连接做了一件不同的事:把较细层的特征另行送进预测模块。它提供的不是同一粗特征的复制,而是另一份尚可能保留位置细节的输入。深层上下文可帮助识别这是杯子,较细响应可帮助定位杯柄与窄缝;二者仍需通过任务训练学习怎样组合。

转置卷积是可学习的线性运算形式,不是一般意义上可还原任意输入的“逆卷积”。是否保留细节,应通过同源输入、目标、预测与错误图观察。

P38 的杯柄照片只是原图参考:细、粗特征先做坐标对齐,再由预测模块学习组合,交付像素类别分数或掩码,而不是还原那张 RGB 照片。图中的特征格为结构示意,轮廓为教学标注;是否减少空洞和边界错误,要另看模型预测与目标的比较。

Lecture 03 课堂图解 P38同一图像较细位置较大上下文对齐后融合组合两层线索学习像素类别分数从像素监督学习像素输出接口示意原图局部参考检查空洞与边界轮廓为教学标注特征格为结构示意;照片不进入融合终点,右下掩码不是模型实测。

细、粗特征先对齐融合,再进入像素预测接口。杯柄照片独立用于检查空洞与边界;掩码轮廓为教学示意。 查看对应图解状态

  • 同一图像
  • 较细位置
  • 较大上下文
  • 对齐后融合
  • 组合两层线索
  • 学习像素类别分数
  • 从像素监督学习
  • 像素输出
  • 接口示意
  • 原图局部参考
  • 检查空洞与边界
  • 轮廓为教学标注
  • 特征格为结构示意;照片不进入融合终点,右下掩码不是模型实测。
细、粗特征先对齐融合,再进入像素预测接口。杯柄照片独立用于检查空洞与边界;掩码轮廓为教学示意。 查看对应图解状态
查看完整图解

继续阅读与实验