[CLS 11 · 语言定位与视觉模型接口](/course/notebooks/95169c3e298c4c819373bb4534f3dff9.html)

# GLIP 把语言接入对象级定位
[独立阅读](/course/notebook-blocks/8d37281fe37f43618a865966b0297ef6.html)
按问题继续

目标/参照/关系、受控图像干预、短语区域学习、分割提示及连接器

## GLIP 把语言接入对象级定位

GLIP 统一对象检测与短语定位，用视觉—文字交互和区域对应监督学习位置。它不是把CLIP整图分数画成框。原论文在其协议下直接评估COCO为49.8 AP、LVIS为26.9 AP，并说明预训练未使用COCO图像。这是语言感知区域表示的正面迁移证据，不是本课程图上的推理。[方法、数据与论文来源](/course/blocks/glip-language-objective.html)。

语言定位先给框，再交分割接口时，要先核对对象身份：上游若选了蓝参照杯，后续精确分割蓝杯仍答错。目标对而边界差，才是另一段接口的问题。

## 原始 LLaVA 接入的是视觉向量

CLIP ViT-L/14 的网格特征经可训练线性投影接入 Vicuna，与文字指令一起预测回答。不是先压成一个对象标签，也不是将一项整图相似度输入语言模型。按行写，$Z_v\in\mathbb R^{n\times d_v}$、$W\in\mathbb R^{d_v\times d_l}$，因此 $H_v=Z_vW\in\mathbb R^{n\times d_l}$。

按行堆叠 n 个视觉向量。每个向量有 `d_v` 个分量，因此 `Z_v` 是 `n×d_v` 矩阵；线性投影 `W` 是 `d_v×d_l` 矩阵。乘积 `H_v=Z_vW` 的形状是 `n×d_l`，视觉位置数量 n 保持不变，每个位置转换成语言模型能接收的 `d_l` 维向量。

CLIP的比较空间不是Vicuna的词向量空间。维度匹配保证计算合法，任务训练建立使用关系；投影不会恢复视觉前处理已丢失的小字或细节。[接口的完整说明](/course/blocks/llava-visual-vector-interface.html)。

| 原始阶段 | 视觉编码器 | 线性投影 | 语言模型 |
| --- | --- | --- | --- |
| 特征对齐 | 冻结 | 更新 | 冻结 |
| 视觉指令 | 仍冻结 | 更新 | 更新 |

第一阶段先建立接口，第二阶段训练按图像与指令使用信息。两个阶段视觉都冻结；不能从论文“End-to-End”的标题推断视觉也更新。目标计在助手回答和停止位置，问题和图像是条件。[训练范围与原论文位置](/course/blocks/llava-two-stage-freezing.html)。

## 指令中的事实仍需追溯

原始LLaVA的部分指令资料由文本GPT-4依据caption、类别和框坐标制作，该步骤没有直接看原图。随后训练LLaVA才输入原图。若记录遗漏谁接触球、杯把如何遮挡书页，长回答也不能补足监督；应补标注、改问题或承认覆盖范围。

这种数据制作能把已有图文资料转成多种交互任务，其价值不只是数量，而是定义系统练习怎样使用图像。[数据来源与一个可做的检查](/course/blocks/llava-instruction-source.html)。循环网络与attention内部留第五讲，不作为本册起步前置。