Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例怎样直接学习一张像素类别地图?

FCN 直接学习一张类别地图

独立阅读
课堂上下文:从哪个问题来

FCN 从逐像素类别图出发,独立于区域检测路线。将 [B,C,H,W] logits 与 [B,H,W] 标签一一对应,理解分割损失和 ignore 像素。LAB11 从图像预测 mask;已知 mask 的缩放练习只检验采样,不检验视觉预测。

如果用途是给组织切片的每个像素指定类别,先列一组外接框可能并不是自然起点。FCN 从空间网格出发:把分类网络改成可对不同输入大小输出空间分数图的计算,接受逐像素标签训练,再恢复到目标分辨率。

一个 C 类分割模型可以交付 [B,C,H,W] logits,每个像素有 C 个实数;目标 [B,H,W] 保存该像素的整数类别。类别维 softmax 决定“同一位置是哪类”,空间维则保留“这个判断在哪里”。如果把所有空间位置先平均成一个类别向量,就改了任务。

FCN 与区域检测是两条并行问题线:前者组织像素类别,后者组织对象集合。两条线都能利用分类预训练,却不能把 FCN 描述为 Faster R-CNN 的后继版本。原始 2014/2015 FCN 摘要报告 VOC 2012 的 mean IU 为 62.2%;2016 扩展版本有不同数字,引用时需区分版本。

最值得带回科研任务的是这个接口改变:表示能迁移,并不意味着原输出头能直接交付新答案。标注的单位变成像素,损失与评价也须随之改变。

Lecture 03 课堂图解 P36区域路线与像素路线,目标不同R-CNN → Fast → Faster一组对象:类别 + 框FCN · 每位置类别分数语义类别地图Long · Shelhamer · Darrell,2014 预印本 / CVPR 2015FCN 是密集像素预测路线,不是 Faster R-CNN 的下一代。

整图的空间特征直接产生逐位置类别分数。 查看对应图解状态

  • 区域路线与像素路线,目标不同
  • R-CNN → Fast → Faster
  • 一组对象:类别 + 框
  • FCN · 每位置类别分数
  • 语义类别地图
  • Long · Shelhamer · Darrell,2014 预印本 / CVPR 2015
  • FCN 是密集像素预测路线,不是 Faster R-CNN 的下一代。
整图的空间特征直接产生逐位置类别分数。 查看对应图解状态
查看完整图解

继续阅读与实验