Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言怎样设计让两种解释产生不同预测的测试?

四条件怎样让解释分叉,哪些变化仍然绑定

独立阅读
课堂上下文:从哪个问题来

四格的非对角条件才使两种解释分叉。逐格比较关系规则与左色规则的答案,并检查当前素材还有哪些变量共同变化。已保存的真实 CLIP 拼贴反例使用另一组输入与数值,应按各自条件解读。

增加右侧持球的条件后,同一候选 A/B 产生下表:

条件 左侧颜色 持球者颜色 持球关系规则 左色规则
A 红 红 A A
B 蓝 蓝 B B
C 红 蓝 B A
D 蓝 红 A B

真正有区分力的是 C/D。只看 A/B 的满分无法区分两条规则;C/D 上如果预测追随持球者,则对关系解释提供更多支持。误差还可以细看:模型是否两种持球颜色都能区分,是否只在某一种词序或某位人物上成功。

当前素材的 A/B 同源,B 是颜色编辑;C 是 B 的精确镜像,D 是 A 的精确镜像。因此镜像同时改变位置、朝向和光照方向,持球者也仍是同一人物。这是一组针对已写明两条规则的对照,不是“只改变一个像素属性并排除所有解释”的实验。要排除人物身份捷径,需要另安排不同人物持球的输入;要排除文字模板捷径,还应换表达但保持任务关系。

教师可以指着非对角两格问:如果模型只看左边,会分别选什么?答案不是再背“相关不等于因果”,而是当场写出 A/B 两个不同预测,再用实际输出裁决这一次对照。

红衣人持球蓝衣人持球左侧红衣左侧蓝衣持球规则 → 红 左侧规则 → 红持球规则 → 蓝 左侧规则 → 红持球规则 → 红 左侧规则 → 蓝持球规则 → 蓝 左侧规则 → 蓝非对角条件让两个解释分歧。图为同源编辑/镜像;镜像也改变姿态方向,未声称逐像素单变量。

行固定左色,列固定持球者色;非对角格让两个解释产生不同预测。 查看对应图解状态

  • 红衣人持球
  • 蓝衣人持球
  • 左侧
  • 红衣
  • 左侧
  • 蓝衣
  • 持球规则 → 红 左侧规则 → 红
  • 持球规则 → 蓝 左侧规则 → 红
  • 持球规则 → 红 左侧规则 → 蓝
  • 持球规则 → 蓝 左侧规则 → 蓝
  • 非对角条件让两个解释分歧。图为同源编辑/镜像;镜像也改变姿态方向,未声称逐像素单变量。
行固定左色,列固定持球者色;非对角格让两个解释产生不同预测。 查看对应图解状态
查看完整图解

继续阅读与实验