## 保持模块不变，对照两阶段的更新范围

## 解释、算例与证据

# P65 · 连接层与任务使用方式，都需要训练

本页两个状态只改变训练范围与数据任务：先冻结两大模型训练投影，再冻结视觉、更新投影和语言模型。把每个模块是否更新说清，避免用“端到端”概括掉细节。再读指令数据的来源，训练目标的视觉事实必须能追溯到相应输入。



图内标签与数值：阶段二 · 图像指令训练任务使用；视觉编码器；冻结；保持参数；投影 W；可训练；更新参数；语言模型；可训练；更新参数；输入：图像 + 视觉指令；目标：指令对应的回答；可训练集合 { W, φ }；两个阶段都冻结视觉编码器；任务训练改变如何使用其特征。；限定原始 LLaVA §4.2。φ 为语言模型参数；不概括所有后续多模态模型的训练方案。

原始LLaVA的两阶段图：阶段一只更新投影；阶段二更新投影与语言模型；两个阶段的视觉编码器均冻结。

- 阶段二 · 图像指令训练任务使用
- 视觉编码器
- 冻结
- 保持参数
- 投影 W
- 可训练
- 更新参数
- 语言模型
- 可训练
- 更新参数
- 输入：图像 + 视觉指令
- 目标：指令对应的回答
- 可训练集合 { W, φ }
- 两个阶段都冻结视觉编码器；任务训练改变如何使用其特征。
- 限定原始 LLaVA §4.2。φ 为语言模型参数；不概括所有后续多模态模型的训练方案。原始LLaVA的两阶段图：阶段一只更新投影；阶段二更新投影与语言模型；两个阶段的视觉编码器均冻结。 [查看对应图解状态](/#/l3-r2-p65/1)[查看完整图解](/course/figures/l3-r2-p65-1.html)

## 课堂讲述

原始 LLaVA 的第一阶段冻结视觉编码器与语言模型，只训练投影，用图文配对建立接口。随后保持视觉编码器冻结，继续训练投影与语言模型，使系统适应视觉指令。
这区分了两个问题：视觉特征怎样接进去，以及接进去后怎样按任务使用。具体数据与训练阶段会影响能力，不能把它解释成一根连接线带来了全部理解。
我们也要用前面的办法检查结果：同一问题换图片，相关答案是否改变；同一图片换问题，是否提取了不同信息。能连贯回答是一项能力，回答是否有可靠视觉依据是另一项检查。两者共同构成真正有用的多模态系统。


### 原始 LLaVA 两阶段：学习接口，再学习视觉指令
[独立阅读](/course/blocks/llava-two-stage-freezing.html)
冻结参数表示训练时不更新这组权重，不表示其输出不参与后续计算。原始 LLaVA 的训练范围必须按模块读：



| 阶段 | 视觉编码器 | 线性投影 | 语言模型 | 主要任务 |
| --- | --- | --- | --- | --- |
| 特征对齐 | 冻结 | 更新 | 冻结 | 用图文配对建立可用视觉接口 |
| 视觉指令微调 | 仍冻结 | 继续更新 | 更新 | 根据图片和指令生成回答 |



第一阶段让已有视觉表示进入语言接口，第二阶段进一步学习如何在不同问法下使用这些信息。两阶段的视觉参数都冻结；论文第二阶段标题虽含 End-to-End，不能据此把视觉分支也画成更新。



训练目标仍是条件下预测后续回答，只在应由助手生成的回答与停止位置计入目标。问题和图像属于条件，不是让模型原样抄回的答案。若只记录“用了指令数据”而不记录更新范围，就无法判断能力来自视觉编码变化、连接适配还是语言模型的任务行为变化。



这与第一部分冻结读出/微调的逻辑直接相连：不更新主干仍可以学习更有效的下游用法。其他多模态方案可以选择解冻视觉，这是一项新的训练设计，不能倒写成原始 LLaVA。

**出处：**[原始 LLaVA（论文 v2）](https://arxiv.org/html/2304.08485v2)
#### 图示条件与公式约定

按原论文 §4.2：阶段一视觉编码器和语言模型冻结，只更新投影 W；阶段二继续冻结视觉编码器，更新投影 W 与语言模型参数 φ。没有把 End-to-End 标题误解为视觉也解冻。


#### 这条线索的展开与后续阅读

- [第一阶段：先让视觉接口接得上](/supplement.html?return=l3-r2-p65/0#/l3-llava-stage1/0) 本页说明
- [第二阶段：让回答适配视觉指令](/supplement.html?return=l3-r2-p65/0#/l3-llava-stage2/0) 本页说明
- [视觉指令材料从哪里来？](/supplement.html?return=l3-r2-p65/0#/l3-instruction-data/0) L03补充阅读
- [视觉接入语言模型不是连一根线｜核心改动怎样工作](/supplement.html?return=l3-r2-p65/0#/l3-multimodal-interface-mechanism/0) L03补充阅读
- [视觉接入语言模型不是连一根线｜什么结论还不能推出](/supplement.html?return=l3-r2-p65/0#/l3-multimodal-interface-boundary/0) L03补充阅读
## 沿指令数据追溯答案能依据的事实

参数更新范围已清楚；还要检查训练答案是否有足够的输入证据。

### 视觉指令数据：问题和答案中的事实从哪里来
[独立阅读](/course/blocks/llava-instruction-source.html)
原始 LLaVA 的一部分指令资料由仅接收文本的 GPT-4 协助制作。输入是已有 caption 和对象类别、框坐标等文字化描述；这条数据制作路径没有让 GPT-4 直接查看原图。随后训练 LLaVA 时，原图才作为视觉输入与这些指令配对。



把一份场景记录想成三层。caption 可能说“两人在球场”；对象框提供人物和球的位置；若记录没有谁的手接触球、哪一人持球，数据制作模型就缺乏可靠依据回答持球关系。把回答写得更长不能补上丢失事实。需要追加标注、改问题或保留不确定性。



这种流程的积极价值是把已有图文资料转为更丰富的任务形式，让模型学习同图换问、描述与解释等交互。数据生产因此不只是在扩大样本数量，还在定义系统练习哪些条件使用方式。



学生可以对一张课程图自己做一次检查：只给对象名和框，哪些问题已能确定，哪些要看像素才知道？“左右各是谁”可能由框和类别支持；球面的小字、遮挡细节或动作接触通常需要更细证据。这与本讲开头“训练答案怎样产生”是同一个问题。

**出处：**[原始 LLaVA（论文 v2）](https://arxiv.org/html/2304.08485v2)
### 沿着图解追问

以下是备课用的模拟师生对话，不是课堂实录。

**学生：**视觉冻结是不是完全不能学习新视觉任务？

**教师：**视觉参数不变，但投影和语言模型可以学习新的读取与使用方式。若已有特征确实缺少细节，才需要考虑分辨率、表示或解冻等进一步改动。

## 沿这个问题继续

对照两阶段的冻结范围与数据任务，再追溯指令数据中的问题、答案和图像事实。用同一组模块说明：训练接口与学习回答分别改变了什么。

**出处：**[原始 LLaVA · 架构与两阶段训练](https://arxiv.org/html/2304.08485v2#S4.SS2)