CLS 11 · 语言定位与视觉模型接口

GLIP 把语言接入对象级定位

按问题继续

目标/参照/关系、受控图像干预、短语区域学习、分割提示及连接器

GLIP 把语言接入对象级定位

GLIP 统一对象检测与短语定位，用视觉—文字交互和区域对应监督学习位置。它不是把CLIP整图分数画成框。原论文在其协议下直接评估COCO为49.8 AP、LVIS为26.9 AP，并说明预训练未使用COCO图像。这是语言感知区域表示的正面迁移证据，不是本课程图上的推理。方法、数据与论文来源。

语言定位先给框，再交分割接口时，要先核对对象身份：上游若选了蓝参照杯，后续精确分割蓝杯仍答错。目标对而边界差，才是另一段接口的问题。

原始 LLaVA 接入的是视觉向量

CLIP ViT-L/14 的网格特征经可训练线性投影接入 Vicuna，与文字指令一起预测回答。不是先压成一个对象标签，也不是将一项整图相似度输入语言模型。按行写，$Z_v\in\mathbb R^{n\times d_v}$、$W\in\mathbb R^{d_v\times d_l}$，因此 $H_v=Z_vW\in\mathbb R^{n\times d_l}$。

按行堆叠 n 个视觉向量。每个向量有 d_v 个分量，因此 Z_v 是 n×d_v 矩阵；线性投影 W 是 d_v×d_l 矩阵。乘积 H_v=Z_vW 的形状是 n×d_l，视觉位置数量 n 保持不变，每个位置转换成语言模型能接收的 d_l 维向量。

CLIP的比较空间不是Vicuna的词向量空间。维度匹配保证计算合法，任务训练建立使用关系；投影不会恢复视觉前处理已丢失的小字或细节。接口的完整说明。

第一阶段先建立接口，第二阶段训练按图像与指令使用信息。两个阶段视觉都冻结；不能从论文“End-to-End”的标题推断视觉也更新。目标计在助手回答和停止位置，问题和图像是条件。训练范围与原论文位置。

指令中的事实仍需追溯

原始LLaVA的部分指令资料由文本GPT-4依据caption、类别和框坐标制作，该步骤没有直接看原图。随后训练LLaVA才输入原图。若记录遗漏谁接触球、杯把如何遮挡书页，长回答也不能补足监督；应补标注、改问题或承认覆盖范围。

这种数据制作能把已有图文资料转成多种交互任务，其价值不只是数量，而是定义系统练习怎样使用图像。数据来源与一个可做的检查。循环网络与attention内部留第五讲，不作为本册起步前置。