# LLaVA 的连接层：把视觉向量接入已有语言空间
[独立阅读](/course/blocks/llava-visual-vector-interface.html)**课堂上下文：从哪个问题来**
原始 LLaVA 输入的是视觉网格向量，经线性投影接入已有语言模型，不是一个类别标签或相似度。尺寸兼容使计算可进行，任务训练才使视觉信息可被使用。先辨认这条信息流，内部序列架构留第五讲。


原始 LLaVA 采用 CLIP ViT-L/14 的网格视觉特征，经一个可训练线性投影接入 Vicuna。若视觉特征矩阵按行写为 $Z_v\in\mathbb R^{n\times d_v}$，连接权重为 $W\in\mathbb R^{d_v\times d_l}$，则 $H_v=Z_vW$ 有语言输入维度 $d_l$。不同论文的行列约定可以转置，但信息流相同。



传进去的是一组视觉向量，不是“图中有猫”的一个标签，也不是 CLIP 的一项整图余弦。保留多个位置的特征，使后续模块有机会读取不同内容。线性投影调整接口，没有凭空增加图像中已被前处理丢失的细节。



CLIP 已有图文比较空间，为什么还要训练连接？因为 Vicuna 的词向量坐标和任务过程不是 CLIP 文本编码器的空间。向量维度对上只能保证输入合法；模型还要学会把这些输入用于按图回答。一个数学类比是两个测量仪器都输出三维数值，但坐标系、单位与使用规则不同，不能直接逐项相加。



本页只要求辨认视觉编码、投影、文字条件和回答输出四个位置。语言模型如何在序列内部处理上下文、视觉 token 怎样参与 attention，留第五讲。当前页面的格子数量是示意，不代表真实网格 token 数；示范回答也不是本轮 LLaVA 推理。



图内标签与数值：CLIP 视觉编码器；原始 LLaVA：ViT-L/14；网格特征；线性投影 W；视觉向量 → 语言维度；文字指令：；“谁拿着球？”；语言模型 Vicuna；视觉向量 + 文字指令；回答；“红衣人”；接入的是一组视觉特征，而非一个 CLIP 匹配分数；原始 LLaVA §4.1；网格数量为示意。参考回答用于解释接口，未作本轮视觉指令推理。

视觉路径进入语言模型前有独立、可训练的接口；信息身份并非文字标签。 查看对应图解状态

- CLIP 视觉编码器
- 原始 LLaVA：ViT-L/14
- 网格特征
- 线性投影 W
- 视觉向量 → 语言维度
- 文字指令：
- “谁拿着球？”
- 语言模型 Vicuna
- 视觉向量 + 文字指令
- 回答
- “红衣人”
- 接入的是一组视觉特征，而非一个 CLIP 匹配分数
- 原始 LLaVA §4.1；网格数量为示意。参考回答用于解释接口，未作本轮视觉指令推理。视觉路径进入语言模型前有独立、可训练的接口；信息身份并非文字标签。 [查看对应图解状态](/#/l3-r2-p64/0)[查看完整图解](/#/l3-r2-p64/0)
**出处：**[原始 LLaVA（论文 v2）](https://arxiv.org/html/2304.08485v2)
## 继续阅读与实验