Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例多个区域怎样复用同一份视觉计算?

先检查候选有没有覆盖对象

解释、算例与证据

P28 · 候选区域不是已经识别出的物体

候选集合应覆盖对象,但其中可以有局部、背景与多对象框。先看漏掉对象是候选完全没有覆盖,还是后级没有选中;两种失败需要不同改动。训练分配与评价匹配的规则留在下方算例,不把 proposal 当已识别对象。

Lecture 03 课堂图解 P28候选 = 值得进一步检查的区域完整目标希望被覆盖半只杯子 / 背景仍需筛选两个对象共同框仍需拆分与修正

完整杯子、半只杯子、背景和两杯共同框四种候选叠加于同一图片。

  • 候选 = 值得进一步检查的区域
  • 完整目标
  • 希望被覆盖
  • 半只杯子 / 背景
  • 仍需筛选
  • 两个对象共同框
  • 仍需拆分与修正
完整杯子、半只杯子、背景和两杯共同框四种候选叠加于同一图片。 查看对应图解状态
查看完整图解

课堂讲述

为什么先产生很多候选?因为直接在所有位置和大小上寻找对象,搜索空间很大。候选阶段先尽量把真目标覆盖住,后续再筛选与修正。 所以 proposal 不是最终物体答案。这个框只含半只杯子,那个框主要是桌面,还有一个框同时包住两个对象;它们都可能进入候选集合。我们希望候选不要漏掉真对象,却不能因为候选很多就说检测很好。 训练也因此多了新内容:哪些区域算前景,哪些算背景,怎样与人工标注的目标对应。这里先抓住任务分工,不逐条展开所有阈值。下一页看这条朴素路线的计算代价:大量相近的区域,究竟重复算了什么?

候选区域先追求覆盖,再由检测头作判断

独立阅读

proposal 的含义是“值得进一步检查的区域”。它可以覆盖完整杯子,也可以只有半只杯子、包含桌面,或把两只杯子一起框住。候选阶段尚未交付最终的类别、数量与精确边界。

设某张图有两只杯子。若候选集合里完全没有接近右杯的框,后面的区域分类再强,也很难在当前流程中找回它。因此可以先看 proposal recall:在某个 IoU 门槛下,有多少真值对象至少被一个候选覆盖。候选很多可能提高这个召回,却增加计算与重复;后续分类和框回归再筛去背景、校正近似位置。

训练时,“这是不是前景”和“它应该往哪移动”也分开。一个背景区域有分类目标,却没有应当回归到某只杯子的唯一位置目标。具体的正负阈值、强制匹配和忽略区间随方法而异;不要把课堂上一组示例阈值视为所有检测器的定义。

可以先在图上指出一只完全漏掉的杯子,再问该改候选覆盖还是区域分类。这个定位比笼统地说“网络不够强”更能指导实验。

沿这个问题继续

沿 CLS07 的公式定位疑问,再选 LAB09 解析练习或 LAB10 完整训练。

出处:R-CNN (2014)

图示条件与公式约定

框是教学候选,不是外部区域方法的实际输出。原始 R-CNN 使用 Selective Search 等候选来源;不把 proposal 当作已识别对象。