Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言语言怎样选择当前需要的视觉信息?

已保存的像素 VQA:为什么 44.44% 是结构化基线

独立阅读
课堂上下文:从哪个问题来

问题在这里选择要读的信息,同一图可以问数量、属性和关系。本页说明沿两个方向组织检查:同图换问、同问换图。LAB14 当前已经有读取像素的可学习分支和单独训练的 question-only,对象属性字典保留为 oracle 热身;三种身份应分别阅读。

LAB14 在 2026-09-22 保存了本地 CPU 学习结果,本次整理没有重跑。720 张训练图和 180 张保留图先按图像生成和划分,再对每图提出三种固定模板问题,共 2160/540 个图问对。模型实际读取 RGB 像素和问题 ID,不读取生成器属性字典。

保留任务分别是数量二选一、左侧颜色三选一、右侧形状二选一。只知道问题时,各任务的最佳常量正确率为 1/2,1/3,1/21/2,1/3,1/2,平均 (1/2+1/3+1/2)/3=4/9(1/2+1/3+1/2)/3=4/9。把所有七种答案混在一起写“机会率 1/7”会忽略问题已给出的答案类型。

保留条件 数量 左色 右形 全部
图像+问题 100% 100% 100% 100%
单独训练 question-only 50% 33.33% 50% 44.44%
同一视觉模型,像素置零 50% 33.33% 50% 44.44%
同一视觉模型,循环错配图像 83.33% 50% 0% 44.44%

最后一行不是随机机会率:数据按组合排列,循环移位常保留数量却恰好改变形状,因此总分相同仍有不同错误来源。正确图像下的模型通过了三个有限任务;像素置零和错配的下降支持它使用正确视觉输入。训练左侧红色比例为 73.61%,保留颜色均衡,进一步显示问题先验不能替代视觉读取。

同图换问、同问换图

问题输入在这里是三个模板 ID,不是任意句子的语言理解。先承认这个小实验确实完成的像素问答,再把开放问题、未见对象与组合列为下一层检验。

继续阅读与实验