Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言怎样设计让两种解释产生不同预测的测试?

把两次成功背后的两条规则写出来

解释、算例与证据

P61 · 前两张图都选对,究竟说明了什么?

两次答对并不只有一种解释。当前两图都由左侧人物持球,因此关系规则和左色规则给出相同答案。先把各自预测明确写出,再去看下一页哪两个条件让它们不同。图旁给出的是规则预期,而非模型实测结果。

红在左 · 红持球蓝在左 · 蓝持球按持球者颜色红蓝按左边衣服颜色红蓝条件示意;两条规则预测。A 为原合成场景,B 为同源颜色编辑;不是模型推理。

红衣左侧持球与蓝衣左侧持球两张同源图,两条规则都得到正确的红、蓝答案。

  • 红在左 · 红持球
  • 蓝在左 · 蓝持球
  • 按持球者颜色
  • 红
  • 蓝
  • 按左边衣服颜色
  • 红
  • 蓝
  • 条件示意;两条规则预测。A 为原合成场景,B 为同源颜色编辑;不是模型推理。
红衣左侧持球与蓝衣左侧持球两张同源图,两条规则都得到正确的红、蓝答案。 查看对应图解状态
查看完整图解

课堂讲述

看这两张图。第一张红衣人在左边,也拿着球;第二张蓝衣人在左边,也拿着球。如果模型两次都选对,我们很容易觉得它已经理解“谁拿着球”。 但是另一个更简单的规则也能通过:只看左边人的衣服颜色。在这两张图里,位置线索和持球关系恰好绑在一起,两个解释给出同样的答案。 这不是故意找一个苛刻陷阱,而是在检查这两次成功究竟排除了哪些可能性。接下来我们不需要再多收集十张同样相关的图片,只需要选择让两个解释发生分歧的条件。

两次成功为何仍有两个解释

独立阅读

保留两句候选:A 为红衣人拿球、旁边有蓝衣人;B 为蓝衣人拿球、旁边有红衣人。第一张图左红持球,第二张图左蓝持球。关系规则按持球者衣色选择 A/B;位置规则只按左侧人物衣色选择 A/B。

条件 持球关系规则 左侧颜色规则
左红持球、右蓝 A A
左蓝持球、右红 B B

两个规则对这两张图作出完全相同的预测。即使真实模型两次答对,也不能仅凭这两次观察决定它用了哪条规则。这不是说成功没有价值:成功表明它在当前条件里能选对候选,只是测试没有排除另一解释。

要增加解释力,应该选择两个规则会分歧的输入,而非收集更多左侧总持球的成功图。下一页把持球位置交叉安排,保持同样两句候选,使答案依据成为可观察差别。页面表格计算的是规则预期;读取真实模型时要另查固定模型、实际输入与分数记录。

沿这个问题继续

先回看本页画面并指出输入、条件和输出,再按“两次成功为何仍有两个解释”阅读。相关实验以其已保存结果为起点,需要动手时再顺序执行 Notebook;

图示条件与公式约定

A=relationship-a-left-red-holds.png,红衣女子在左且持球;B=relationship-b-left-blue-holds.png 是 A 的同源颜色编辑,蓝衣女子在左且持球。页面是人工定义两条规则的预测,不是新 CLIP 推理。B 并非逐像素单变量变换。

这条线索的展开与后续阅读