CLS 03 · 视觉与语言：任务、训练与接口

我们已经用图像与句子做匹配，用词语指定区域，也能根据图像回答问题

主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

我们已经用图像与句子做匹配，用词语指定区域，也能根据图像回答问题。现在拿走图像，只留下：

红色杯子放在木桌上。

使用者不再递交一张图供分析，而是要求系统产生新的视觉内容。给候选打分，还没有给出生成这些像素的方法。 我们需要说明输出的表示、学习目标，以及从条件到一个具体结果的生成过程。

第三讲的 captioning 与看图回答已经可能通过生成文本实现，MAE 也涉及重构。本讲的焦点是表示与任务接口；第四讲将把生成分布、训练和采样本身作为研究对象。