视觉指令数据：问题和答案中的事实从哪里来
课堂上下文：从哪个问题来
本页两个状态只改变训练范围与数据任务：先冻结两大模型训练投影，再冻结视觉、更新投影和语言模型。把每个模块是否更新说清，避免用“端到端”概括掉细节。再读指令数据的来源，训练目标的视觉事实必须能追溯到相应输入。
原始 LLaVA 的一部分指令资料由仅接收文本的 GPT-4 协助制作。输入是已有 caption 和对象类别、框坐标等文字化描述；这条数据制作路径没有让 GPT-4 直接查看原图。随后训练 LLaVA 时，原图才作为视觉输入与这些指令配对。
把一份场景记录想成三层。caption 可能说“两人在球场”；对象框提供人物和球的位置；若记录没有谁的手接触球、哪一人持球，数据制作模型就缺乏可靠依据回答持球关系。把回答写得更长不能补上丢失事实。需要追加标注、改问题或保留不确定性。
这种流程的积极价值是把已有图文资料转为更丰富的任务形式，让模型学习同图换问、描述与解释等交互。数据生产因此不只是在扩大样本数量，还在定义系统练习哪些条件使用方式。
学生可以对一张课程图自己做一次检查：只给对象名和框，哪些问题已能确定，哪些要看像素才知道？“左右各是谁”可能由框和类别支持；球面的小字、遮挡细节或动作接触通常需要更细证据。这与本讲开头“训练答案怎样产生”是同一个问题。