Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例多个区域怎样复用同一份视觉计算?

R-CNN 迁移的是已学会的视觉计算

独立阅读
课堂上下文:从哪个问题来

历史上 R-CNN 将监督分类预训练用于区域检测,支持了“先学表示,再适配新任务”的正面判断。按区域提取特征、学习前景/背景和位置修正三个动作都需要具体输入。它不是 MoCo 或 MAE 的历史后继。

R-CNN 先产生可能包含对象的区域,将每个区域变换为 CNN 接受的图像大小,再用 CNN 特征作区域分类与框修正。分类预训练提供的是卷积网络的参数;检测适配需要新的区域样本、前景/背景关系和位置目标。原始实现包含多个训练阶段,因此课堂画面中简洁的两项输出,不应被误读成原论文从一开始就是一个统一损失的端到端系统。

为什么把区域当作一张小图很有力量?因为原来“整图里有什么”的视觉计算,现在可在许多局部窗口上复用。杯子只占整图一小部分时,候选区域让它占据输入的大部分,分类网络就能在更合适的尺度查看它。代价是裁剪、缩放与逐区域计算;区域边缘的上下文也会改变。

原论文摘要报告 VOC 2012 检测 mAP 为 53.3%,相对之前最好结果提高超过 30%。这个同期结果支持“分类预训练与检测适配能够产生有竞争力的检测器”,不是自监督预训练的实验。作者是 Girshick、Donahue、Darrell、Malik;此处从 MoCo/MAE 接到 R-CNN,是课程按问题重组,不能反写历史先后。

Lecture 03 课堂图解 P27候选区域 → 裁出并缩放红杯候选预训练 CNNImageNet 分类权重区域类别:杯子位置:相对框修正Girshick · Donahue · Darrell · Malik迁移参数,还要学习检测任务R-CNN · 2013 预印本 / CVPR 2014。课堂顺序不是历史发生顺序。

裁剪区域进入预训练 CNN,再适配类别与位置输出。 查看对应图解状态

  • 候选区域 → 裁出并缩放
  • 红杯候选
  • 预训练 CNN
  • ImageNet 分类权重
  • 区域类别:杯子
  • 位置:相对框修正
  • Girshick · Donahue · Darrell · Malik
  • 迁移参数,还要学习检测任务
  • R-CNN · 2013 预印本 / CVPR 2014。课堂顺序不是历史发生顺序。
裁剪区域进入预训练 CNN,再适配类别与位置输出。 查看对应图解状态
查看完整图解

继续阅读与实验