Fast R-CNN 的改动包括共享卷积、区域读取和类别/位置反馈共同训练。图上的多个区域仍各有答案,合并的是可共用计算。先指出损失从哪里回到同一骨干,再理解为什么外部候选成为下一项瓶颈。
整图特征、两个不同位置的 RoI Pool、各自类别及框输出;第二状态显示任务反馈到共享骨干的路径。
共享卷积特征
RoI Pool
类别
框修正
类别
框修正
两项任务反馈到共享骨干
整图特征、两个不同位置的 RoI Pool、各自类别及框输出;第二状态显示任务反馈到共享骨干的路径。 查看对应图解状态查看完整图解
课堂讲述
Fast R-CNN 把整图特征、区域读取以及类别和框回归组织在同一个较紧凑的训练流程里。图片主要计算一次,候选区域在共享特征上读取,然后各自产生预测。
学生容易只记住“更快”两个字。真正应该看到的是:系统把原来重复的计算搬到了共同部分,同时让区域任务的反馈回到共享表示。训练怎样组织,和速度怎样改善,在这里是连在一起的。
但此时的候选区域仍然需要产生。当前面主要计算变得更高效,原来相对不显眼的步骤就可能变成新的瓶颈。接下来研究者问的不是再给这个网络起一个更快的名字,而是:候选本身能不能也从共享特征中学出来?