## 把视觉向量接进语言模型的输入空间

## 解释、算例与证据

# P64 · 把视觉表示接入一个已经会说话的模型

原始 LLaVA 输入的是视觉网格向量，经线性投影接入已有语言模型，不是一个类别标签或相似度。尺寸兼容使计算可进行，任务训练才使视觉信息可被使用。先辨认这条信息流，内部序列架构留第五讲。



图内标签与数值：CLIP 视觉编码器；原始 LLaVA：ViT-L/14；网格特征；线性投影 W；视觉向量 → 语言维度；文字指令：；“谁拿着球？”；语言模型 Vicuna；视觉向量 + 文字指令；回答；“红衣人”；接入的是一组视觉特征，而非一个 CLIP 匹配分数；原始 LLaVA §4.1；网格数量为示意。参考回答用于解释接口，未作本轮视觉指令推理。

图像经CLIP视觉网格特征和线性投影进入Vicuna，与文字指令共同产生参考回答。

- CLIP 视觉编码器
- 原始 LLaVA：ViT-L/14
- 网格特征
- 线性投影 W
- 视觉向量 → 语言维度
- 文字指令：
- “谁拿着球？”
- 语言模型 Vicuna
- 视觉向量 + 文字指令
- 回答
- “红衣人”
- 接入的是一组视觉特征，而非一个 CLIP 匹配分数
- 原始 LLaVA §4.1；网格数量为示意。参考回答用于解释接口，未作本轮视觉指令推理。图像经CLIP视觉网格特征和线性投影进入Vicuna，与文字指令共同产生参考回答。 [查看对应图解状态](/#/l3-r2-p64/0)[查看完整图解](/course/figures/l3-r2-p64-0.html)

## 课堂讲述

以原始 LLaVA 为例，视觉编码器提供一组图像特征，经可训练的投影后，与文字输入共同进入语言模型。这里利用的是已有视觉模型与语言模型的能力，再建立一个新的模态接口。
请看图像信息走到了哪里。输入不是一个“图里大概有猫”的标签，也不是一项 CLIP 相似度分数，而是一组能够被后续模型使用的视觉向量。投影调整了表示接口，但维度对齐并不自动等于任务已经学会。
今天需要理解这条模块关系，语言模型内部如何组织上下文留到第五讲。眼前更关键的问题是：这几个模块接起来以后，究竟训练了谁，用什么数据让它根据图像和指令作答？


### LLaVA 的连接层：把视觉向量接入已有语言空间
[独立阅读](/course/blocks/llava-visual-vector-interface.html)
原始 LLaVA 采用 CLIP ViT-L/14 的网格视觉特征，经一个可训练线性投影接入 Vicuna。若视觉特征矩阵按行写为 $Z_v\in\mathbb R^{n\times d_v}$，连接权重为 $W\in\mathbb R^{d_v\times d_l}$，则 $H_v=Z_vW$ 有语言输入维度 $d_l$。不同论文的行列约定可以转置，但信息流相同。



传进去的是一组视觉向量，不是“图中有猫”的一个标签，也不是 CLIP 的一项整图余弦。保留多个位置的特征，使后续模块有机会读取不同内容。线性投影调整接口，没有凭空增加图像中已被前处理丢失的细节。



CLIP 已有图文比较空间，为什么还要训练连接？因为 Vicuna 的词向量坐标和任务过程不是 CLIP 文本编码器的空间。向量维度对上只能保证输入合法；模型还要学会把这些输入用于按图回答。一个数学类比是两个测量仪器都输出三维数值，但坐标系、单位与使用规则不同，不能直接逐项相加。



本页只要求辨认视觉编码、投影、文字条件和回答输出四个位置。语言模型如何在序列内部处理上下文、视觉 token 怎样参与 attention，留第五讲。当前页面的格子数量是示意，不代表真实网格 token 数；示范回答也不是本轮 LLaVA 推理。

**出处：**[原始 LLaVA（论文 v2）](https://arxiv.org/html/2304.08485v2)
### 沿着图解追问

以下是备课用的模拟师生对话，不是课堂实录。

**学生：**CLIP 已经对齐图文，为什么再投影？

**教师：**那是 CLIP 自己的比较空间。另一个语言模型有自己的向量坐标和使用任务，投影建立接口，后续训练教它按图像和指令使用信息。

## 沿这个问题继续

沿视觉网格、线性投影和语言模型三个接口检查张量形状：图块数保持不变，向量宽度改变。然后到 P65 比较两个训练阶段分别更新哪些参数。

**出处：**[原始 LLaVA · 架构与两阶段训练](https://arxiv.org/html/2304.08485v2#S4.SS1)
#### 图示条件与公式约定

原始 LLaVA 使用 CLIP ViT-L/14 的网格特征，线性投影接到 Vicuna 的文字输入维度。图中格数仅作表示，不对应实际 token 数量。示例回答为人工任务说明，不是本轮 LLaVA 运行。


#### 这条线索的展开与后续阅读

- [已有的语言模型，怎样接收一张图？](/supplement.html?return=l3-r2-p64/0#/l3-llava-interface/0) 本页说明
- [视觉接入语言模型不是连一根线｜问题从哪里出现](/supplement.html?return=l3-r2-p64/0#/l3-multimodal-interface-problem/0) L03补充阅读
- [视觉接入语言模型不是连一根线｜一起算一个完整例子](/supplement.html?return=l3-r2-p64/0#/l3-multimodal-interface-example/0) L03补充阅读
- [视觉接入语言模型不是连一根线｜怎样检查这项解释](/supplement.html?return=l3-r2-p64/0#/l3-multimodal-interface-evidence/0) L03补充阅读