第三部分仍从同一场景出发，只改变语言的作用。请先对照四个输出：句子、候选分数、区域、答案。它们都可以使用视觉和语言，却不是同一个任务换四个名字。读完本页，应能为任一请求说出输入、输出与目标来源，再按自己的问题进入后面的说明。
同一张红蓝衣人物持球图，金色教学框覆盖画面中可见的完整红衣持球人物；右侧比较描述、文字匹配、指代人物区域和问题答案四种输出。
现在不换图，只换我们怎样使用语言。可以让模型描述整幅画面，可以问哪句话更匹配，可以说“拿球的人”要求它找到区域，也可以直接问“谁拿着球”。 这几种任务共享图像和文字，却需要不同的输出。描述要产生句子，匹配要比较候选，grounding 要指向局部区域，问答要在问题条件下提取并表达信息。 我们接下来不是沿着能力演示一路升级，而是看这些接口各自需要什么学习过程。它们也不是严格按这个顺序在历史上出现。理解研究的关键，是看到视觉特征、语言建模、配对数据和任务定义怎样在不同时点组合起来。
把两个人和一个球的同一幅图保持不动，可以提出四个不同任务。差别首先在输出，而不在模型名字。
| 请求 | 实际输入 | 要交付的输出 | 训练材料应提供什么 |
|---|---|---|---|
| 描述画面 | 图像 | 一段新句子 | 图像与参考描述 |
| 哪句话匹配 | 图像与文字候选 | 每个候选的分数或排名 | 已配对图文及对比关系 |
| 找到拿球的人 | 图像与指代短语 | 对象身份及框/区域 | 短语与区域对应、定位目标 |
| 谁拿着球 | 图像与问题 | 问题条件下的答案 | 图像、问题、答案 |
“红衣人拿着球”可以同时是参考描述、匹配候选和问答的解释，但它们在训练中扮演的角色不同。描述模型要知道怎样产生这句话；匹配模型可以只在已经给出的两句话之间选择；grounding 还要输出坐标。一个很好的相似度分数不能直接替代这些不同输出。
第二部分已经建立区域和像素接口。第三部分把语言加入之后，继续追问：语言在本次计算里是目标、监督来源还是任务条件？这三个角色可以共存。视觉助手收到一个问题、参考图像并生成回答时，问题是条件，回答是生成目标，而训练时的图文和指令数据是学习信号。
以下是备课用的模拟师生对话，不是课堂实录。
学生：模型最后都能说一句话，为什么还要分任务？
教师：请先看模型是否真的产生新句子。两候选选择只需两个分数；描述要在许多下一词之间逐步决定；定位还需区域坐标。输出要求决定需要什么训练证据。
先回看本页画面并指出输入、条件和输出，再按“同一幅图像的四种任务契约”阅读。相关实验以其已保存结果为起点，需要动手时再顺序执行 Notebook；
同一场景的描述、匹配、指代与问答输出全部为人工定义的任务示意；金色框指向画面中的红衣持球人物，不是球和手。没有在本轮执行这些模型。