[CLS 03 · 视觉与语言：任务、训练与接口](/course/notebooks/680da245145447dd88983aabd136fd24.html)

# 指令答案也需要信息来源
[独立阅读](/course/notebook-blocks/ce309fa079154f8092fa03084d3bcf9f.html)
主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

### 指令答案也需要信息来源

原始 LLaVA 的部分指令资料由文本 GPT-4 根据 caption、对象类别和框坐标制作，该步骤没有让它直接看原图。随后 LLaVA 才用原图和这些指令共同训练。若文字记录遗漏接触和遮挡关系，长回答也不能凭空补足监督。

这个细节把第三部分接回第一部分：目标从哪里来，决定系统练习什么。[完整说明与课堂练习](/course/blocks/llava-instruction-source.html)。