## 沿坐标选出目标，而不是参照物 ## 解释、算例与证据 # P63 · GLIP：不只说相关，还要指出区域 语言条件落实为空间输出时，需要明确目标、参照物和关系。GLIP 提供对象级学习和迁移的研究路线；LAB15 提供可逐像素追踪的规则实验。两者的层级不同，但都帮助判断系统到底把框放在谁身上，再与后续掩码处理连接。 图内标签与数值：指代：拿球的蓝衣人；“蓝衣人”；“拿球的”；图文交互 + 区域预测；短语对应与定位监督；训练目标落在局部区域；输出：与短语对应的框；GLIP 把词语与空间定位放进同一学习任务；教学框展示任务接口，不是 GLIP 运行结果；区域交互和定位学习不能由整图分数直接代替。 蓝衣人在右侧持球场景，红衣人、蓝衣人与球都有候选框；短语和定位监督指向蓝衣人区域。 - 指代：拿球的蓝衣人 - “蓝衣人” - “拿球的” - 图文交互 + 区域预测 - 短语对应与定位监督 - 训练目标落在局部区域 - 输出：与短语对应的框 - GLIP 把词语与空间定位放进同一学习任务 - 教学框展示任务接口，不是 GLIP 运行结果；区域交互和定位学习不能由整图分数直接代替。蓝衣人在右侧持球场景，红衣人、蓝衣人与球都有候选框；短语和定位监督指向蓝衣人区域。 [查看对应图解状态](/#/l3-r2-p63/0)[查看完整图解](/course/figures/l3-r2-p63-0.html) ## 课堂讲述 GLIP 把语言与区域感知更直接地结合。文字中的概念和短语，不只与整幅图比较，还要与区域建立对应，并通过定位相关的监督学习输出位置。 因此，它不是简单把 CLIP 的整图分数画成一个框。局部关系、训练数据以及图文交互都进入了方法。我们在第二部分学到的区域组织，在这里遇到了更开放的语言条件。 这条技术线说明，语言可以改变视觉任务的组织方式，但不会自动消除空间任务。要指出“拿球的蓝衣人”，既要理解文字提出了什么，也要找到画面中的对应区域。接下来再看另一个方向：如果输出不是框，而是一段根据图片作出的回答呢？ ### “蓝杯左边的杯子”：目标、参照物、关系三者分开 [独立阅读](/course/blocks/grounding-target-reference-relation.html) 短语 `cup left of blue cup` 中，目标类别是 cup，参照物是 blue cup，关系是 left of。看到 blue 就返回蓝杯，找到了参照物，却没有完成目标选择。 LAB15 的受控画布中，左红杯框为 $[15,19,50,58]$，中心横坐标 32.5；右蓝杯框为 $[109,19,144,58]$，中心横坐标 126.5；书的框为 $[60,65,90,80]$。本例定义 left-of 为目标中心横坐标小于参照中心，且目标不是参照物本身。 先找唯一蓝杯，再从其他杯子中筛选：红杯满足 $32.5<126.5$，应返回红杯框。书也在蓝杯左侧，却不满足 cup 类别约束。若蓝杯缺失、出现多个蓝杯或存在多个满足关系的目标，程序必须有明确的无目标/多义处理，不能随意返回最高颜色分的对象。 这里说明的是一套显式关系语义。“完全在左侧”可以改用 $x_{max}(a)