# VQA：同图换问题，同问换图
[独立阅读](/course/blocks/vqa-question-selects-information.html)**课堂上下文：从哪个问题来**
问题在这里选择要读的信息，同一图可以问数量、属性和关系。本页说明沿两个方向组织检查：同图换问、同问换图。LAB14 当前已经有读取像素的可学习分支和单独训练的 question-only，对象属性字典保留为 oracle 热身；三种身份应分别阅读。


VQA 的目标是 $p(a\mid I,q)$。问题 $q$ 不只是输出旁的装饰，而是决定应该从图像中读取什么：问“有几个人”需要数量，问“谁拿球”需要关系，问“球是什么颜色”需要属性。保持图像固定，改变问题，正确答案就可能改变；保持问题固定，改变相关图像，正确答案也应变化。



一个封闭答案模型可以在预设词表里分类，一个生成式模型可以逐词回答。前者易于定义准确率，但答案范围受词表限制；后者表达更灵活，却需要处理同义表达、冗长回答和证据对应。不能只把分类头输出的一个标签换成长句，就称为具有新的视觉推理能力。



语言先验是有用的知识，也可能成为捷径。如果训练里“左边物体什么颜色”通常答红色，question-only 模型能取得不错成绩，却无法应对同问题下的蓝物体。VQA v2 的研究用相同问题、不同正确答案的成对图像，加强视觉证据在评价中的作用。这种设计把“答对”进一步变成“答对所需的信息确实来自图像”。



课堂上可先固定图 A 左红右蓝：问左颜色答红，问右颜色答蓝。再换成左蓝右红的图 B，保持左颜色问题，此时应答蓝。三次比较让图像条件和问题条件分别显示作用。读取场景字典中的 `left_color` 是已知属性 oracle，它能检验问答逻辑，但不能检验从像素感知颜色。



图内标签与数值：不给图片；有几个人？；需依据图像确定；谁拿着球？；需依据图像确定；球是什么颜色？；需依据图像确定；同一问题，换掉相关图像，正确答案应怎样改变？；答案为人工核对的场景属性；“不给图片”展示评价条件，不是模型问答实验。

图像隐藏后，数量、颜色和持球者都失去当前场景证据；页面没有伪造无图模型回答。 查看对应图解状态

- 不给图片
- 有几个人？
- 需依据图像确定
- 谁拿着球？
- 需依据图像确定
- 球是什么颜色？
- 需依据图像确定
- 同一问题，换掉相关图像，正确答案应怎样改变？
- 答案为人工核对的场景属性；“不给图片”展示评价条件，不是模型问答实验。图像隐藏后，数量、颜色和持球者都失去当前场景证据；页面没有伪造无图模型回答。 [查看对应图解状态](/#/l3-r2-p54/1)[查看完整图解](/#/l3-r2-p54/1)
**出处：**[VQA（2015）](https://arxiv.org/abs/1505.00468) · [Making the V in VQA Matter（2017）](https://arxiv.org/abs/1612.00837)
## 继续阅读与实验