Lecture 03指令答案也需要信息来源
指令答案也需要信息来源
主线阅读与优先实验
caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁
指令答案也需要信息来源
原始 LLaVA 的部分指令资料由文本 GPT-4 根据 caption、对象类别和框坐标制作,该步骤没有让它直接看原图。随后 LLaVA 才用原图和这些指令共同训练。若文字记录遗漏接触和遮挡关系,长回答也不能凭空补足监督。
这个细节把第三部分接回第一部分:目标从哪里来,决定系统练习什么。完整说明与课堂练习。