Lecture 03这张表不要求每个系统都从上一行起步
这张表不要求每个系统都从上一行起步
主线阅读与优先实验
caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁
| 新任务 | 可以复用的部件 | 仍要建立的环节 |
|---|---|---|
| 固定表示分类 | 视觉编码器 | 目标标签与读出 |
| 检测与实例分割 | 视觉主干 | 区域组织、空间读取、框/掩码监督 |
| 图文匹配 | 合适的视觉与语言编码器 | 共同空间、配对学习与候选定义 |
| 文字定位 | 视觉空间特征与文字表示 | 区域—词语交互与定位训练 |
| 视觉问答 | 视觉编码器与语言模型 | 连接层、视觉指令与回答评价 |
这张表不要求每个系统都从上一行起步。它提醒我们：复用已有能力之后，仍要说明新任务的学习信号、输出与接口。
回到全讲中心问题：网络学到的视觉表示，怎样变成可复用、可指定、可检验的能力？ 现在再改变一次任务：把输入图像拿走，只保留描述，要求系统创造一幅新图。