Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言一句话怎样落实为正确对象的区域?

“蓝杯左边的杯子”:目标、参照物、关系三者分开

独立阅读
课堂上下文:从哪个问题来

语言条件落实为空间输出时,需要明确目标、参照物和关系。GLIP 提供对象级学习和迁移的研究路线;LAB15 提供可逐像素追踪的规则实验。两者的层级不同,但都帮助判断系统到底把框放在谁身上,再与后续掩码处理连接。

短语 cup left of blue cup 中,目标类别是 cup,参照物是 blue cup,关系是 left of。看到 blue 就返回蓝杯,找到了参照物,却没有完成目标选择。

LAB15 的受控画布中,左红杯框为 [15,19,50,58][15,19,50,58],中心横坐标 32.5;右蓝杯框为 [109,19,144,58][109,19,144,58],中心横坐标 126.5;书的框为 [60,65,90,80][60,65,90,80]。本例定义 left-of 为目标中心横坐标小于参照中心,且目标不是参照物本身。

先找唯一蓝杯,再从其他杯子中筛选:红杯满足 32.5<126.532.5<126.5,应返回红杯框。书也在蓝杯左侧,却不满足 cup 类别约束。若蓝杯缺失、出现多个蓝杯或存在多个满足关系的目标,程序必须有明确的无目标/多义处理,不能随意返回最高颜色分的对象。

这里说明的是一套显式关系语义。“完全在左侧”可以改用 xmax(a)<xmin(r)x_{max}(a)<x_{min}(r),与中心比较在重叠情况下不同。把语言问题落实为区域时,要先解释采用哪种语义,再谈模型是否正确。图上的坐标约定是半开边界框,不是逐像素包含端点的面积公式。

继续阅读与实验