# 原始 LLaVA 两阶段：学习接口，再学习视觉指令
[独立阅读](/course/blocks/llava-two-stage-freezing.html)**课堂上下文：从哪个问题来**
本页两个状态只改变训练范围与数据任务：先冻结两大模型训练投影，再冻结视觉、更新投影和语言模型。把每个模块是否更新说清，避免用“端到端”概括掉细节。再读指令数据的来源，训练目标的视觉事实必须能追溯到相应输入。


冻结参数表示训练时不更新这组权重，不表示其输出不参与后续计算。原始 LLaVA 的训练范围必须按模块读：



| 阶段 | 视觉编码器 | 线性投影 | 语言模型 | 主要任务 |
| --- | --- | --- | --- | --- |
| 特征对齐 | 冻结 | 更新 | 冻结 | 用图文配对建立可用视觉接口 |
| 视觉指令微调 | 仍冻结 | 继续更新 | 更新 | 根据图片和指令生成回答 |



第一阶段让已有视觉表示进入语言接口，第二阶段进一步学习如何在不同问法下使用这些信息。两阶段的视觉参数都冻结；论文第二阶段标题虽含 End-to-End，不能据此把视觉分支也画成更新。



训练目标仍是条件下预测后续回答，只在应由助手生成的回答与停止位置计入目标。问题和图像属于条件，不是让模型原样抄回的答案。若只记录“用了指令数据”而不记录更新范围，就无法判断能力来自视觉编码变化、连接适配还是语言模型的任务行为变化。



这与第一部分冻结读出/微调的逻辑直接相连：不更新主干仍可以学习更有效的下游用法。其他多模态方案可以选择解冻视觉，这是一项新的训练设计，不能倒写成原始 LLaVA。



图内标签与数值：阶段二 · 图像指令训练任务使用；视觉编码器；冻结；保持参数；投影 W；可训练；更新参数；语言模型；可训练；更新参数；输入：图像 + 视觉指令；目标：指令对应的回答；可训练集合 { W, φ }；两个阶段都冻结视觉编码器；任务训练改变如何使用其特征。；限定原始 LLaVA §4.2。φ 为语言模型参数；不概括所有后续多模态模型的训练方案。

阶段二更新投影与语言模型，视觉编码器仍冻结。 查看对应图解状态

- 阶段二 · 图像指令训练任务使用
- 视觉编码器
- 冻结
- 保持参数
- 投影 W
- 可训练
- 更新参数
- 语言模型
- 可训练
- 更新参数
- 输入：图像 + 视觉指令
- 目标：指令对应的回答
- 可训练集合 { W, φ }
- 两个阶段都冻结视觉编码器；任务训练改变如何使用其特征。
- 限定原始 LLaVA §4.2。φ 为语言模型参数；不概括所有后续多模态模型的训练方案。阶段二更新投影与语言模型，视觉编码器仍冻结。 [查看对应图解状态](/#/l3-r2-p65/1)[查看完整图解](/#/l3-r2-p65/1)
**出处：**[原始 LLaVA（论文 v2）](https://arxiv.org/html/2304.08485v2)
## 继续阅读与实验