Lecture 035. 学习曲线与可以被推翻的结论
5. 学习曲线与可以被推翻的结论
按问题继续
RGB+问题输入、question-only对照、同图换问与同问换图
5. 学习曲线与可以被推翻的结论

完整模型在这个有限合成分布上达到 100%,不等于解决真实 VQA。颜色、边缘和对象数都容易辨别,问题模板也固定。只改一个条件:保持图像不变,把未知改写“which hue is on the left?”输入当前 ID 接口会发生什么?正确结论是它根本没有这个文本编码能力,不应把手工映射改写到 ID 的功能归功于网络。
另一项可运行改动是把训练颜色先验改为均匀,保留模型与测试不变。先预测 question-only 的训练颜色分数会下降,而保留集颜色分数仍约为三分之一。模型可以减少训练与测试的先验落差,却仍需要看图才能逐例回答。