本页两个状态只改变训练范围与数据任务：先冻结两大模型训练投影，再冻结视觉、更新投影和语言模型。把每个模块是否更新说清，避免用“端到端”概括掉细节。再读指令数据的来源，训练目标的视觉事实必须能追溯到相应输入。
原始LLaVA的两阶段图：阶段一只更新投影；阶段二更新投影与语言模型；两个阶段的视觉编码器均冻结。
原始 LLaVA 的第一阶段冻结视觉编码器与语言模型，只训练投影，用图文配对建立接口。随后保持视觉编码器冻结，继续训练投影与语言模型，使系统适应视觉指令。 这区分了两个问题：视觉特征怎样接进去，以及接进去后怎样按任务使用。具体数据与训练阶段会影响能力，不能把它解释成一根连接线带来了全部理解。 我们也要用前面的办法检查结果：同一问题换图片，相关答案是否改变；同一图片换问题，是否提取了不同信息。能连贯回答是一项能力，回答是否有可靠视觉依据是另一项检查。两者共同构成真正有用的多模态系统。
冻结参数表示训练时不更新这组权重，不表示其输出不参与后续计算。原始 LLaVA 的训练范围必须按模块读：
| 阶段 | 视觉编码器 | 线性投影 | 语言模型 | 主要任务 |
|---|---|---|---|---|
| 特征对齐 | 冻结 | 更新 | 冻结 | 用图文配对建立可用视觉接口 |
| 视觉指令微调 | 仍冻结 | 继续更新 | 更新 | 根据图片和指令生成回答 |
第一阶段让已有视觉表示进入语言接口，第二阶段进一步学习如何在不同问法下使用这些信息。两阶段的视觉参数都冻结；论文第二阶段标题虽含 End-to-End，不能据此把视觉分支也画成更新。
训练目标仍是条件下预测后续回答，只在应由助手生成的回答与停止位置计入目标。问题和图像属于条件，不是让模型原样抄回的答案。若只记录“用了指令数据”而不记录更新范围，就无法判断能力来自视觉编码变化、连接适配还是语言模型的任务行为变化。
这与第一部分冻结读出/微调的逻辑直接相连：不更新主干仍可以学习更有效的下游用法。其他多模态方案可以选择解冻视觉，这是一项新的训练设计，不能倒写成原始 LLaVA。
按原论文 §4.2：阶段一视觉编码器和语言模型冻结，只更新投影 W；阶段二继续冻结视觉编码器，更新投影 W 与语言模型参数 φ。没有把 End-to-End 标题误解为视觉也解冻。
参数更新范围已清楚；还要检查训练答案是否有足够的输入证据。
原始 LLaVA 的一部分指令资料由仅接收文本的 GPT-4 协助制作。输入是已有 caption 和对象类别、框坐标等文字化描述；这条数据制作路径没有让 GPT-4 直接查看原图。随后训练 LLaVA 时，原图才作为视觉输入与这些指令配对。
把一份场景记录想成三层。caption 可能说“两人在球场”；对象框提供人物和球的位置；若记录没有谁的手接触球、哪一人持球，数据制作模型就缺乏可靠依据回答持球关系。把回答写得更长不能补上丢失事实。需要追加标注、改问题或保留不确定性。
这种流程的积极价值是把已有图文资料转为更丰富的任务形式，让模型学习同图换问、描述与解释等交互。数据生产因此不只是在扩大样本数量，还在定义系统练习哪些条件使用方式。
学生可以对一张课程图自己做一次检查：只给对象名和框，哪些问题已能确定，哪些要看像素才知道？“左右各是谁”可能由框和类别支持；球面的小字、遮挡细节或动作接触通常需要更细证据。这与本讲开头“训练答案怎样产生”是同一个问题。
以下是备课用的模拟师生对话，不是课堂实录。
学生：视觉冻结是不是完全不能学习新视觉任务？
教师：视觉参数不变，但投影和语言模型可以学习新的读取与使用方式。若已有特征确实缺少细节，才需要考虑分辨率、表示或解冻等进一步改动。
对照两阶段的冻结范围与数据任务，再追溯指令数据中的问题、答案和图像事实。用同一组模块说明：训练接口与学习回答分别改变了什么。