P54 · VQA：问题决定此刻需要哪一项信息

VQA：同图换问题，同问换图

VQA 的目标是 $p(a\mid I,q)$。问题 $q$ 不只是输出旁的装饰，而是决定应该从图像中读取什么：问“有几个人”需要数量，问“谁拿球”需要关系，问“球是什么颜色”需要属性。保持图像固定，改变问题，正确答案就可能改变；保持问题固定，改变相关图像，正确答案也应变化。

一个封闭答案模型可以在预设词表里分类，一个生成式模型可以逐词回答。前者易于定义准确率，但答案范围受词表限制；后者表达更灵活，却需要处理同义表达、冗长回答和证据对应。不能只把分类头输出的一个标签换成长句，就称为具有新的视觉推理能力。

语言先验是有用的知识，也可能成为捷径。如果训练里“左边物体什么颜色”通常答红色，question-only 模型能取得不错成绩，却无法应对同问题下的蓝物体。VQA v2 的研究用相同问题、不同正确答案的成对图像，加强视觉证据在评价中的作用。这种设计把“答对”进一步变成“答对所需的信息确实来自图像”。

课堂上可先固定图 A 左红右蓝：问左颜色答红，问右颜色答蓝。再换成左蓝右红的图 B，保持左颜色问题，此时应答蓝。三次比较让图像条件和问题条件分别显示作用。读取场景字典中的 left_color 是已知属性 oracle，它能检验问答逻辑，但不能检验从像素感知颜色。