Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 032. 先按图像切分,避免同一图的不同问题泄漏

2. 先按图像切分,避免同一图的不同问题泄漏

独立阅读

按问题继续

RGB+问题输入、question-only对照、同图换问与同问换图

2. 先按图像切分,避免同一图的不同问题泄漏

每张图含一个或两个带颜色的方形/圆形。所有图都提出同样三个问题:数量、最左物体颜色、最右物体形状;只有一个物体时,它同时是最左与最右。目标由生成器标注,这是监督数据的来源,不是推理接口。forward(pixels,question_id) 无法读取场景字典。

训练图 seed 14031、保留图 seed 14032;先得到 720/180 张互不相同的图,再扩展为 2160/540 个问答。训练左侧颜色以 75% 概率采红,实际本次为 73.61%;保留集三色各占三分之一。数量与形状平衡设计下各有两种可能。语言模型因此能在训练颜色问题上靠红色先验得高分,却没有随图改变的证据。

预测:只看问题,三个任务的保留集最佳常量回答分别约为 1/2、1/3、1/2,平均为 4/9≈44.4%。这比把七种答案混在一起说“随机率 1/7”更符合任务结构。