Lecture 034. 逐问题读结果,别只看总准确率
4. 逐问题读结果,别只看总准确率
按问题继续
RGB+问题输入、question-only对照、同图换问与同问换图
4. 逐问题读结果,别只看总准确率
| 保留集条件 | 数量 | 左侧颜色 | 右侧形状 | 全部 |
|---|---|---|---|---|
| Image + question | 100.0% | 100.0% | 100.0% | 100.0% |
| Question-only | 50.0% | 33.3% | 50.0% | 44.4% |
| 同一模型,像素置零 | 50.0% | 33.3% | 50.0% | 44.4% |
| 同一模型,图像循环错配 | 83.3% | 50.0% | 0.0% | 44.4% |
循环错配不是各属性独立重抽:数据按组合排列,所以相邻样本常保留数量,却总改变形状。于是 83.3%/50%/0% 不是异常;它正提醒我们干预协议必须说清。不要把这个排列解释为各任务的随机机会水平。

同图换问展示问题控制“读什么”,同问换图展示视觉控制“答什么”。先查控制图中红/蓝只变颜色的一对,再看代码记录的九条问答,判断本次证据是否同时满足这两个方向。