“蓝杯左边的杯子”:目标、参照物、关系三者分开
课堂上下文:从哪个问题来
语言条件落实为空间输出时,需要明确目标、参照物和关系。GLIP 提供对象级学习和迁移的研究路线;LAB15 提供可逐像素追踪的规则实验。两者的层级不同,但都帮助判断系统到底把框放在谁身上,再与后续掩码处理连接。
短语 cup left of blue cup 中,目标类别是 cup,参照物是 blue cup,关系是 left of。看到 blue 就返回蓝杯,找到了参照物,却没有完成目标选择。
LAB15 的受控画布中,左红杯框为 ,中心横坐标 32.5;右蓝杯框为 ,中心横坐标 126.5;书的框为 。本例定义 left-of 为目标中心横坐标小于参照中心,且目标不是参照物本身。
先找唯一蓝杯,再从其他杯子中筛选:红杯满足 ,应返回红杯框。书也在蓝杯左侧,却不满足 cup 类别约束。若蓝杯缺失、出现多个蓝杯或存在多个满足关系的目标,程序必须有明确的无目标/多义处理,不能随意返回最高颜色分的对象。
这里说明的是一套显式关系语义。“完全在左侧”可以改用 ,与中心比较在重叠情况下不同。把语言问题落实为区域时,要先解释采用哪种语义,再谈模型是否正确。图上的坐标约定是半开边界框,不是逐像素包含端点的面积公式。