CLS 03 · 视觉与语言：任务、训练与接口

前一部分用框和点指定对象

主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

前一部分用框和点指定对象。现在把任务说出来：“描述这张桌面图”“找到红杯”“谁拿着球”。这些句子对系统提出的输出要求不同。

这不是互斥的三类系统，也不是后一阶段淘汰前一阶段。一个视觉助手可以使用图文配对学习，用问题指定任务，再生成文字回答。先明确语言此刻的作用，再讨论需要的训练与接口。