Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 035. 学习曲线与可以被推翻的结论

5. 学习曲线与可以被推翻的结论

独立阅读

按问题继续

RGB+问题输入、question-only对照、同图换问与同问换图

5. 学习曲线与可以被推翻的结论

图像问答与只读问题模型的实际训练交叉熵

完整模型在这个有限合成分布上达到 100%,不等于解决真实 VQA。颜色、边缘和对象数都容易辨别,问题模板也固定。只改一个条件:保持图像不变,把未知改写“which hue is on the left?”输入当前 ID 接口会发生什么?正确结论是它根本没有这个文本编码能力,不应把手工映射改写到 ID 的功能归功于网络。

另一项可运行改动是把训练颜色先验改为均匀,保留模型与测试不变。先预测 question-only 的训练颜色分数会下降,而保留集颜色分数仍约为三分之一。模型可以减少训练与测试的先验落差,却仍需要看图才能逐例回答。