[CLS 11 · 语言定位与视觉模型接口](/course/notebooks/95169c3e298c4c819373bb4534f3dff9.html)

# 蓝杯是参照物，目标是它左边的杯子
[独立阅读](/course/notebook-blocks/91e584a383d94204a682f2b511a70e7a.html)
按问题继续

目标/参照/关系、受控图像干预、短语区域学习、分割提示及连接器

**学习路径：** [一句话指向哪个对象](/course/study/grounding-interface.html)

从[P63 语言定位](/course/pages/l3-r2-p63.html)读到[P64 视觉向量接口](/course/pages/l3-r2-p64.html)：语言既可以指定一个区域，也可以要求模型根据图像回答，但两者需要不同输出。

先用“蓝杯左边的杯子”分清目标、参照物和关系，再读GLIP的定位学习与原始LLaVA的两阶段连接。[LAB 15](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/7dc83786d067465aa76264475db2c62d)是本册附属规则练习，能从像素和坐标逐步核对，不冒充预训练grounding推理。

读完应能指出错误发生在哪个接口：对象选错、区域读错，还是视觉向量未被语言模型正确使用。SAM与其他连接器按回链深入，attention内部不作为本册前置。

## 蓝杯是参照物，目标是它左边的杯子

`cup left of blue cup` 分为目标类别cup、参照物blue cup、关系left-of。左红杯框为[15,19,50,58]、中心x=32.5；右蓝杯为[109,19,144,58]、中心x=126.5；书为[60,65,90,80]。采用半开边界框，关系定义为中心x严格小于，且目标不能是参照物本身。

先找唯一蓝杯，再筛其他cup：红杯满足32.5<126.5；书虽在左但类别不符。蓝杯缺失、多义或没有唯一目标时返回无唯一目标，不用参照杯顶替。若改成“整个框都在左侧”，需另用边界比较；关系语义要先固定。[完整坐标算例](/course/blocks/grounding-target-reference-relation.html)。

## 输入变化确实经过像素

[LAB 15](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/7dc83786d067465aa76264475db2c62d?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=7dc83786d067465aa76264475db2c62d&utm_term=get_notebook) 从RGB颜色阈值和连通域提框，再执行关系规则。它读取了图像，但不是预训练神经grounding。已有2026-09-22结果如下，本轮未重跑。

| 条件 | 问句 | 目标 |
| --- | --- | --- |
| 左红右蓝 | 蓝杯左边的杯子 | 左红 |
| 遮住左目标 | 同上 | 无唯一可见目标 |
| 只交换红蓝像素 | 同上 | 无目标，蓝参照物在最左 |
| 同一交换图改关系 | 蓝杯右边的杯子 | 右红 |

![像素干预与返回框](/assets/display/969fa088b392b7fb8a846fb3.webp)

代码断言干预区域外像素不变并保存差分。旧关键词规则错选蓝杯保留为失败；颜色规则只适用于有限场景，不能扩大为任意杯子识别。[干预、代码与证据身份](/course/blocks/grounding-pixel-interventions.html)。