Lecture 033. 正确分解目标、参照物和关系

3. 正确分解目标、参照物和关系

按问题继续

RGB规则提框、错误关键词基线、目标/参照/关系与干预

3. 正确分解目标、参照物和关系

像素规则先按预定义 RGB 原型距离阈值产生颜色 mask，再计算四连通区域和半开坐标框 $[x_1,y_1,x_2,y_2)$ 。原图左杯框为 [15,19,50,58]，中心 x=32.5；蓝色参照杯框为 [109,19,144,58]，中心 x=126.5。left-of 在此具体定义为中心横坐标严格小于，不暗示“整个框都在左侧”等其他关系语义。

解析 cup left of blue cup 得到 target category=cup、reference color=blue、relation=left。先找唯一蓝杯，再从其他 cup 候选中筛选满足关系者；书虽也位于蓝杯左边，但类别不是 cup。若参照物缺失或存在多个匹配，或者没有唯一可见目标，程序明确返回 None，不把蓝杯顶上去。

这里的视觉候选器也是规则：棕色被指定为 book，红/蓝被指定为 cup。它适合受控场景，不会识别任意颜色的真实杯子；可以观察到像素依赖，但不能把它写成“学会了视觉概念”。