已保存的像素 VQA:为什么 44.44% 是结构化基线
课堂上下文:从哪个问题来
问题在这里选择要读的信息,同一图可以问数量、属性和关系。本页说明沿两个方向组织检查:同图换问、同问换图。LAB14 当前已经有读取像素的可学习分支和单独训练的 question-only,对象属性字典保留为 oracle 热身;三种身份应分别阅读。
LAB14 在 2026-09-22 保存了本地 CPU 学习结果,本次整理没有重跑。720 张训练图和 180 张保留图先按图像生成和划分,再对每图提出三种固定模板问题,共 2160/540 个图问对。模型实际读取 RGB 像素和问题 ID,不读取生成器属性字典。
保留任务分别是数量二选一、左侧颜色三选一、右侧形状二选一。只知道问题时,各任务的最佳常量正确率为 ,平均 。把所有七种答案混在一起写“机会率 1/7”会忽略问题已给出的答案类型。
| 保留条件 | 数量 | 左色 | 右形 | 全部 |
|---|---|---|---|---|
| 图像+问题 | 100% | 100% | 100% | 100% |
| 单独训练 question-only | 50% | 33.33% | 50% | 44.44% |
| 同一视觉模型,像素置零 | 50% | 33.33% | 50% | 44.44% |
| 同一视觉模型,循环错配图像 | 83.33% | 50% | 0% | 44.44% |
最后一行不是随机机会率:数据按组合排列,循环移位常保留数量却恰好改变形状,因此总分相同仍有不同错误来源。正确图像下的模型通过了三个有限任务;像素置零和错配的下降支持它使用正确视觉输入。训练左侧红色比例为 73.61%,保留颜色均衡,进一步显示问题先验不能替代视觉读取。

问题输入在这里是三个模板 ID,不是任意句子的语言理解。先承认这个小实验确实完成的像素问答,再把开放问题、未见对象与组合列为下一层检验。