原始 LLaVA 输入的是视觉网格向量，经线性投影接入已有语言模型，不是一个类别标签或相似度。尺寸兼容使计算可进行，任务训练才使视觉信息可被使用。先辨认这条信息流，内部序列架构留第五讲。
图像经CLIP视觉网格特征和线性投影进入Vicuna，与文字指令共同产生参考回答。
以原始 LLaVA 为例，视觉编码器提供一组图像特征，经可训练的投影后，与文字输入共同进入语言模型。这里利用的是已有视觉模型与语言模型的能力，再建立一个新的模态接口。 请看图像信息走到了哪里。输入不是一个“图里大概有猫”的标签，也不是一项 CLIP 相似度分数，而是一组能够被后续模型使用的视觉向量。投影调整了表示接口，但维度对齐并不自动等于任务已经学会。 今天需要理解这条模块关系，语言模型内部如何组织上下文留到第五讲。眼前更关键的问题是：这几个模块接起来以后，究竟训练了谁，用什么数据让它根据图像和指令作答？
原始 LLaVA 采用 CLIP ViT-L/14 的网格视觉特征，经一个可训练线性投影接入 Vicuna。若视觉特征矩阵按行写为 ，连接权重为 ，则 有语言输入维度 。不同论文的行列约定可以转置，但信息流相同。
传进去的是一组视觉向量，不是“图中有猫”的一个标签，也不是 CLIP 的一项整图余弦。保留多个位置的特征，使后续模块有机会读取不同内容。线性投影调整接口，没有凭空增加图像中已被前处理丢失的细节。
CLIP 已有图文比较空间，为什么还要训练连接？因为 Vicuna 的词向量坐标和任务过程不是 CLIP 文本编码器的空间。向量维度对上只能保证输入合法；模型还要学会把这些输入用于按图回答。一个数学类比是两个测量仪器都输出三维数值，但坐标系、单位与使用规则不同，不能直接逐项相加。
本页只要求辨认视觉编码、投影、文字条件和回答输出四个位置。语言模型如何在序列内部处理上下文、视觉 token 怎样参与 attention，留第五讲。当前页面的格子数量是示意，不代表真实网格 token 数；示范回答也不是本轮 LLaVA 推理。
以下是备课用的模拟师生对话，不是课堂实录。
学生：CLIP 已经对齐图文，为什么再投影？
教师：那是 CLIP 自己的比较空间。另一个语言模型有自己的向量坐标和使用任务，投影建立接口，后续训练教它按图像和指令使用信息。
沿视觉网格、线性投影和语言模型三个接口检查张量形状：图块数保持不变，向量宽度改变。然后到 P65 比较两个训练阶段分别更新哪些参数。
原始 LLaVA 使用 CLIP ViT-L/14 的网格特征，线性投影接到 Vicuna 的文字输入维度。图中格数仅作表示，不对应实际 token 数量。示例回答为人工任务说明，不是本轮 LLaVA 运行。