LLaVA 的连接层：把视觉向量接入已有语言空间
课堂上下文：从哪个问题来
原始 LLaVA 输入的是视觉网格向量，经线性投影接入已有语言模型，不是一个类别标签或相似度。尺寸兼容使计算可进行，任务训练才使视觉信息可被使用。先辨认这条信息流，内部序列架构留第五讲。
原始 LLaVA 采用 CLIP ViT-L/14 的网格视觉特征，经一个可训练线性投影接入 Vicuna。若视觉特征矩阵按行写为 ，连接权重为 ，则 有语言输入维度 。不同论文的行列约定可以转置，但信息流相同。
传进去的是一组视觉向量，不是“图中有猫”的一个标签，也不是 CLIP 的一项整图余弦。保留多个位置的特征，使后续模块有机会读取不同内容。线性投影调整接口，没有凭空增加图像中已被前处理丢失的细节。
CLIP 已有图文比较空间，为什么还要训练连接？因为 Vicuna 的词向量坐标和任务过程不是 CLIP 文本编码器的空间。向量维度对上只能保证输入合法；模型还要学会把这些输入用于按图回答。一个数学类比是两个测量仪器都输出三维数值，但坐标系、单位与使用规则不同，不能直接逐项相加。
本页只要求辨认视觉编码、投影、文字条件和回答输出四个位置。语言模型如何在序列内部处理上下文、视觉 token 怎样参与 attention，留第五讲。当前页面的格子数量是示意，不代表真实网格 token 数；示范回答也不是本轮 LLaVA 推理。
视觉路径进入语言模型前有独立、可训练的接口；信息身份并非文字标签。 查看对应图解状态
- CLIP 视觉编码器
- 原始 LLaVA：ViT-L/14
- 网格特征
- 线性投影 W
- 视觉向量 → 语言维度
- 文字指令：
- “谁拿着球？”
- 语言模型 Vicuna
- 视觉向量 + 文字指令
- 回答
- “红衣人”
- 接入的是一组视觉特征，而非一个 CLIP 匹配分数
- 原始 LLaVA §4.1；网格数量为示意。参考回答用于解释接口，未作本轮视觉指令推理。