Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言一句话怎样落实为正确对象的区域?

GLIP:把类别和短语都放到对象级定位任务中

独立阅读
课堂上下文:从哪个问题来

语言条件落实为空间输出时,需要明确目标、参照物和关系。GLIP 提供对象级学习和迁移的研究路线;LAB15 提供可逐像素追踪的规则实验。两者的层级不同,但都帮助判断系统到底把框放在谁身上,再与后续掩码处理连接。

GLIP 将对象检测与短语定位用于共同的预训练。传统检测类别可以转写成文字概念,短语资料又提供更开放的语言—区域对应。视觉与文字发生交互,训练同时要求语义匹配和位置正确;这比给一组外部裁图计算 CLIP 整图分数多了任务结构与定位监督。

原论文使用 2700 万 grounding 训练样本,包含人工标注和由网络图文扩展的资料;在其协议中,直接评估 COCO 得到 49.8 AP,LVIS 得到 26.9 AP,且说明预训练没有使用 COCO 图像。这里的数字是论文所报告的对象级迁移结果,不是本课程持球图的运行。它支持语言条件和区域学习能够带来可迁移检测接口这一方向。

对课堂场景,“拿球的蓝衣人”要求图中多个对象、属性与关系共同约束一个框。若候选框身份错了,后接分割模型即使边界非常准确,也会分错对象。反过来,目标身份正确但边界粗糙,应检查分割与采样接口。把定位和掩码衔接时分开检查,正是第二部分仍然有用的原因。

LAB15 负责透明的语言关系规则,GLIP 论文负责更一般的学习方案与研究证据。两者互相解释,不互相冒充。主讲保留这一对象级接口;完整训练配置与更广数据对照留材料阅读。

指代:拿球的蓝衣人“蓝衣人”“拿球的”图文交互 + 区域预测短语对应与定位监督训练目标落在局部区域输出:与短语对应的框GLIP 把词语与空间定位放进同一学习任务教学框展示任务接口,不是 GLIP 运行结果;区域交互和定位学习不能由整图分数直接代替。

短语最终要对应局部区域;网页框是课程标注,不是本轮 GLIP 输出。 查看对应图解状态

  • 指代:拿球的蓝衣人
  • “蓝衣人”
  • “拿球的”
  • 图文交互 + 区域预测
  • 短语对应与定位监督
  • 训练目标落在局部区域
  • 输出:与短语对应的框
  • GLIP 把词语与空间定位放进同一学习任务
  • 教学框展示任务接口,不是 GLIP 运行结果;区域交互和定位学习不能由整图分数直接代替。
短语最终要对应局部区域;网页框是课程标注,不是本轮 GLIP 输出。 查看对应图解状态
查看完整图解

继续阅读与实验