Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 034. 逐问题读结果,别只看总准确率

4. 逐问题读结果,别只看总准确率

独立阅读

按问题继续

RGB+问题输入、question-only对照、同图换问与同问换图

4. 逐问题读结果,别只看总准确率

保留集条件 数量 左侧颜色 右侧形状 全部
Image + question 100.0% 100.0% 100.0% 100.0%
Question-only 50.0% 33.3% 50.0% 44.4%
同一模型,像素置零 50.0% 33.3% 50.0% 44.4%
同一模型,图像循环错配 83.3% 50.0% 0.0% 44.4%

循环错配不是各属性独立重抽:数据按组合排列,所以相邻样本常保留数量,却总改变形状。于是 83.3%/50%/0% 不是异常;它正提醒我们干预协议必须说清。不要把这个排列解释为各任务的随机机会水平。

相同保留问答上的视觉、语言、零图像与错配图像比较

同图换问展示问题控制“读什么”,同问换图展示视觉控制“答什么”。先查控制图中红/蓝只变颜色的一对,再看代码记录的九条问答,判断本次证据是否同时满足这两个方向。