Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03指令答案也需要信息来源

指令答案也需要信息来源

独立阅读

主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

指令答案也需要信息来源

原始 LLaVA 的部分指令资料由文本 GPT-4 根据 caption、对象类别和框坐标制作,该步骤没有让它直接看原图。随后 LLaVA 才用原图和这些指令共同训练。若文字记录遗漏接触和遮挡关系,长回答也不能凭空补足监督。

这个细节把第三部分接回第一部分:目标从哪里来,决定系统练习什么。完整说明与课堂练习。