## 同一画面，先辨认四种输出

## 解释、算例与证据

# P49 · 同一幅画面，语言提出不同的问题

第三部分仍从同一场景出发，只改变语言的作用。请先对照四个输出：句子、候选分数、区域、答案。它们都可以使用视觉和语言，却不是同一个任务换四个名字。读完本页，应能为任一请求说出输入、输出与目标来源，再按自己的问题进入后面的说明。



图内标签与数值：描述；红衣人拿着一个篮球。；匹配；A 红衣人拿球  /  B 蓝衣人拿球；指代；“拿球的人” → 人物区域；问答；谁拿着球？ → 红衣人；同一图像；句子 · 选择 · 区域 · 答案；场景与输出均为任务示意；本页没有运行描述、定位或问答模型。

同一张红蓝衣人物持球图，金色教学框覆盖画面中可见的完整红衣持球人物；右侧比较描述、文字匹配、指代人物区域和问题答案四种输出。

- 描述
- 红衣人拿着一个篮球。
- 匹配
- A 红衣人拿球 / B 蓝衣人拿球
- 指代
- “拿球的人” → 人物区域
- 问答
- 谁拿着球？ → 红衣人
- 同一图像
- 句子 · 选择 · 区域 · 答案
- 场景与输出均为任务示意；本页没有运行描述、定位或问答模型。同一张红蓝衣人物持球图，金色教学框覆盖画面中可见的完整红衣持球人物；右侧比较描述、文字匹配、指代人物区域和问题答案四种输出。 [查看对应图解状态](/#/l3-r2-p49/0)[查看完整图解](/course/figures/l3-r2-p49-0.html)

## 课堂讲述

现在不换图，只换我们怎样使用语言。可以让模型描述整幅画面，可以问哪句话更匹配，可以说“拿球的人”要求它找到区域，也可以直接问“谁拿着球”。
这几种任务共享图像和文字，却需要不同的输出。描述要产生句子，匹配要比较候选，grounding 要指向局部区域，问答要在问题条件下提取并表达信息。
我们接下来不是沿着能力演示一路升级，而是看这些接口各自需要什么学习过程。它们也不是严格按这个顺序在历史上出现。理解研究的关键，是看到视觉特征、语言建模、配对数据和任务定义怎样在不同时点组合起来。


### 同一幅图像的四种任务契约
[独立阅读](/course/blocks/vl-task-contracts.html)
把两个人和一个球的同一幅图保持不动，可以提出四个不同任务。差别首先在输出，而不在模型名字。



| 请求 | 实际输入 | 要交付的输出 | 训练材料应提供什么 |
| --- | --- | --- | --- |
| 描述画面 | 图像 | 一段新句子 | 图像与参考描述 |
| 哪句话匹配 | 图像与文字候选 | 每个候选的分数或排名 | 已配对图文及对比关系 |
| 找到拿球的人 | 图像与指代短语 | 对象身份及框/区域 | 短语与区域对应、定位目标 |
| 谁拿着球 | 图像与问题 | 问题条件下的答案 | 图像、问题、答案 |



“红衣人拿着球”可以同时是参考描述、匹配候选和问答的解释，但它们在训练中扮演的角色不同。描述模型要知道怎样产生这句话；匹配模型可以只在已经给出的两句话之间选择；grounding 还要输出坐标。一个很好的相似度分数不能直接替代这些不同输出。



第二部分已经建立区域和像素接口。第三部分把语言加入之后，继续追问：语言在本次计算里是目标、监督来源还是任务条件？这三个角色可以共存。视觉助手收到一个问题、参考图像并生成回答时，问题是条件，回答是生成目标，而训练时的图文和指令数据是学习信号。

**出处：**[Show and Tell（2014/2015）](https://arxiv.org/abs/1411.4555) · [VQA（2015）](https://arxiv.org/abs/1505.00468)
### 沿着图解追问

以下是备课用的模拟师生对话，不是课堂实录。

**学生：**模型最后都能说一句话，为什么还要分任务？

**教师：**请先看模型是否真的产生新句子。两候选选择只需两个分数；描述要在许多下一词之间逐步决定；定位还需区域坐标。输出要求决定需要什么训练证据。

## 沿这个问题继续

先回看本页画面并指出输入、条件和输出，再按“同一幅图像的四种任务契约”阅读。相关实验以其已保存结果为起点，需要动手时再顺序执行 Notebook；

**出处：**[Show and Tell（2014/2015）](https://arxiv.org/abs/1411.4555) · [VQA（2015）](https://arxiv.org/abs/1505.00468)
#### 图示条件与公式约定

同一场景的描述、匹配、指代与问答输出全部为人工定义的任务示意；金色框指向画面中的红衣持球人物，不是球和手。没有在本轮执行这些模型。


#### 这条线索的展开与后续阅读

- [同一张图，描述、定位与问答各自要求什么？](/supplement.html?return=l3-r2-p49/0#/l3-vl-tasks/0) 本页说明