[CLS 03 · 视觉与语言：任务、训练与接口](/course/notebooks/680da245145447dd88983aabd136fd24.html)

# 原始 LLaVA 的接口是视觉编码器 → 线性投影 → 语言模型
[独立阅读](/course/notebook-blocks/ddbfd4bf2bf747b0ae9f1cba853e8b68.html)
主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

原始 LLaVA 的接口是视觉编码器 → 线性投影 → 语言模型。送入的是视觉网格向量，不是一个类别标签。阶段一冻结视觉与语言模型，只训练投影；阶段二仍冻结视觉，更新投影与语言模型。

[P64](/course/pages/l3-r2-p64.html) 与 [P65](/course/pages/l3-r2-p65.html) 对照这两个阶段。完整解释集中于 [CLS 11 · 语言定位与视觉模型接口](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/95169c3e298c4c819373bb4534f3dff9?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=95169c3e298c4c819373bb4534f3dff9&utm_term=get_notebook)；注意后续版本的连接器不倒写为原始配置，RNN/attention 的内部结构留第五讲。

[为何 CLIP 对齐后仍需要连接层](/course/blocks/llava-visual-vector-interface.html) · [逐模块核对冻结范围](/course/blocks/llava-two-stage-freezing.html)。