Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 034. 根据实际输出解释每次条件变化

4. 根据实际输出解释每次条件变化

独立阅读

按问题继续

RGB规则提框、错误关键词基线、目标/参照/关系与干预

4. 根据实际输出解释每次条件变化

条件 参照物中心 x 目标输出 原因
原图,left-of blue cup 126.5 左红杯 [15,19,50,58] cup 且 32.5 < 126.5
同短语,遮住左杯 126.5 无唯一可见目标 目标像素不再可见
交换红蓝颜色,仍问 left-of 32.5 无唯一可见目标 蓝参照物已在最左
同交换图,改问 right-of 32.5 右红杯 [109,19,144,58] cup 且 126.5 > 32.5

两项干预与原图的像素差异图

遮挡图只能证明本规则没有看见目标,不证明物理世界中杯子已不存在,更不是遮挡后的完整形状恢复。若希望系统根据上下文推断被遮物,需要另行定义任务、数据与评价。本册不把“不知道”替换为看似确定的框。

可改条件:把书也改成蓝色,会暴露“颜色等于类别”的规则假设;把两个蓝杯都画出来,会触发参照物歧义。先预测每一处应该返回框还是拒答,再修改图像观察。