Lecture 03CLIP 整图相似度给配对程度；“蓝杯左边的杯子”还要求输出目标区域

CLIP 整图相似度给配对程度；“蓝杯左边的杯子”还要求输出目标区域

主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

CLIP 整图相似度给配对程度；“蓝杯左边的杯子”还要求输出目标区域。这里需要分开目标、参照物与关系，不能看到 blue 就返回蓝杯。

P63 的 GLIP 说明对象级语言定位的学习路线；CLS 11 · 语言定位与视觉模型接口展开监督、空间输出和模型接口；LAB 15 · 语言指代小练习：目标、参照与关系用像素提框与关系规则做完整对照。后者不是 GLIP 推理，但能准确解释为什么旧关键词规则选错。