同一幅图像的四种任务契约
课堂上下文：从哪个问题来
第三部分仍从同一场景出发，只改变语言的作用。请先对照四个输出：句子、候选分数、区域、答案。它们都可以使用视觉和语言，却不是同一个任务换四个名字。读完本页，应能为任一请求说出输入、输出与目标来源，再按自己的问题进入后面的说明。
把两个人和一个球的同一幅图保持不动，可以提出四个不同任务。差别首先在输出，而不在模型名字。
| 请求 | 实际输入 | 要交付的输出 | 训练材料应提供什么 |
|---|---|---|---|
| 描述画面 | 图像 | 一段新句子 | 图像与参考描述 |
| 哪句话匹配 | 图像与文字候选 | 每个候选的分数或排名 | 已配对图文及对比关系 |
| 找到拿球的人 | 图像与指代短语 | 对象身份及框/区域 | 短语与区域对应、定位目标 |
| 谁拿着球 | 图像与问题 | 问题条件下的答案 | 图像、问题、答案 |
“红衣人拿着球”可以同时是参考描述、匹配候选和问答的解释，但它们在训练中扮演的角色不同。描述模型要知道怎样产生这句话；匹配模型可以只在已经给出的两句话之间选择；grounding 还要输出坐标。一个很好的相似度分数不能直接替代这些不同输出。
第二部分已经建立区域和像素接口。第三部分把语言加入之后，继续追问：语言在本次计算里是目标、监督来源还是任务条件？这三个角色可以共存。视觉助手收到一个问题、参考图像并生成回答时，问题是条件，回答是生成目标，而训练时的图文和指令数据是学习信号。
四种输出共用同一场景；这里的示范输出是人工定义的任务目标。 查看对应图解状态
- 描述
- 红衣人拿着一个篮球。
- 匹配
- A 红衣人拿球 / B 蓝衣人拿球
- 指代
- “拿球的人” → 人物区域
- 问答
- 谁拿着球？ → 红衣人
- 同一图像
- 句子 · 选择 · 区域 · 答案
- 场景与输出均为任务示意；本页没有运行描述、定位或问答模型。