[CLS 03 · 视觉与语言：任务、训练与接口](/course/notebooks/680da245145447dd88983aabd136fd24.html)

# 我们已经用图像与句子做匹配，用词语指定区域，也能根据图像回答问题
[独立阅读](/course/notebook-blocks/045f75954e664345ab8c0a5c766a2f16.html)
主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

我们已经用图像与句子做匹配，用词语指定区域，也能根据图像回答问题。现在拿走图像，只留下：


  
红色杯子放在木桌上。



使用者不再递交一张图供分析，而是要求系统产生新的视觉内容。**给候选打分，还没有给出生成这些像素的方法。** 我们需要说明输出的表示、学习目标，以及从条件到一个具体结果的生成过程。

第三讲的 captioning 与看图回答已经可能通过生成文本实现，MAE 也涉及重构。本讲的焦点是表示与任务接口；第四讲将把**生成分布、训练和采样本身**作为研究对象。