CLS 11 · 语言定位与视觉模型接口

蓝杯是参照物，目标是它左边的杯子

按问题继续

目标/参照/关系、受控图像干预、短语区域学习、分割提示及连接器

学习路径： 一句话指向哪个对象

从P63 语言定位读到P64 视觉向量接口：语言既可以指定一个区域，也可以要求模型根据图像回答，但两者需要不同输出。

先用“蓝杯左边的杯子”分清目标、参照物和关系，再读GLIP的定位学习与原始LLaVA的两阶段连接。LAB 15是本册附属规则练习，能从像素和坐标逐步核对，不冒充预训练grounding推理。

读完应能指出错误发生在哪个接口：对象选错、区域读错，还是视觉向量未被语言模型正确使用。SAM与其他连接器按回链深入，attention内部不作为本册前置。

蓝杯是参照物，目标是它左边的杯子

cup left of blue cup 分为目标类别cup、参照物blue cup、关系left-of。左红杯框为[15,19,50,58]、中心x=32.5；右蓝杯为[109,19,144,58]、中心x=126.5；书为[60,65,90,80]。采用半开边界框，关系定义为中心x严格小于，且目标不能是参照物本身。

先找唯一蓝杯，再筛其他cup：红杯满足32.5<126.5；书虽在左但类别不符。蓝杯缺失、多义或没有唯一目标时返回无唯一目标，不用参照杯顶替。若改成“整个框都在左侧”，需另用边界比较；关系语义要先固定。完整坐标算例。

输入变化确实经过像素

LAB 15 从RGB颜色阈值和连通域提框，再执行关系规则。它读取了图像，但不是预训练神经grounding。已有2026-09-22结果如下，本轮未重跑。

代码断言干预区域外像素不变并保存差分。旧关键词规则错选蓝杯保留为失败；颜色规则只适用于有限场景，不能扩大为任意杯子识别。干预、代码与证据身份。