[CLS 03 · 视觉与语言：任务、训练与接口](/course/notebooks/680da245145447dd88983aabd136fd24.html)

# 这张表不要求每个系统都从上一行起步
[独立阅读](/course/notebook-blocks/9f722432814341c394a2b6c32e03fbef.html)
主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

| 新任务 | 可以复用的部件 | 仍要建立的环节 |
| --- | --- | --- |
| 固定表示分类 | 视觉编码器 | 目标标签与读出 |
| 检测与实例分割 | 视觉主干 | 区域组织、空间读取、框/掩码监督 |
| 图文匹配 | 合适的视觉与语言编码器 | 共同空间、配对学习与候选定义 |
| 文字定位 | 视觉空间特征与文字表示 | 区域—词语交互与定位训练 |
| 视觉问答 | 视觉编码器与语言模型 | 连接层、视觉指令与回答评价 |

这张表不要求每个系统都从上一行起步。它提醒我们：复用已有能力之后，仍要说明新任务的学习信号、输出与接口。

回到全讲中心问题：**网络学到的视觉表示，怎样变成可复用、可指定、可检验的能力？** 现在再改变一次任务：把输入图像拿走，只保留描述，要求系统创造一幅新图。