Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言怎样设计让两种解释产生不同预测的测试?

读非对角条件中的相反预测

解释、算例与证据

P62 · 把位置与关系拆开,解释才会分叉

四格的非对角条件才使两种解释分叉。逐格比较关系规则与左色规则的答案,并检查当前素材还有哪些变量共同变化。已保存的真实 CLIP 拼贴反例使用另一组输入与数值,应按各自条件解读。

红衣人持球蓝衣人持球左侧红衣左侧蓝衣持球规则 → 红 左侧规则 → 红持球规则 → 蓝 左侧规则 → 红持球规则 → 红 左侧规则 → 蓝持球规则 → 蓝 左侧规则 → 蓝非对角条件让两个解释分歧。图为同源编辑/镜像;镜像也改变姿态方向,未声称逐像素单变量。

四条件表的行固定左侧衣服颜色,列固定持球者颜色;非对角条件使持球规则与左侧规则分歧。

  • 红衣人持球
  • 蓝衣人持球
  • 左侧
  • 红衣
  • 左侧
  • 蓝衣
  • 持球规则 → 红 左侧规则 → 红
  • 持球规则 → 蓝 左侧规则 → 红
  • 持球规则 → 红 左侧规则 → 蓝
  • 持球规则 → 蓝 左侧规则 → 蓝
  • 非对角条件让两个解释分歧。图为同源编辑/镜像;镜像也改变姿态方向,未声称逐像素单变量。
四条件表的行固定左侧衣服颜色,列固定持球者颜色;非对角条件使持球规则与左侧规则分歧。 查看对应图解状态
查看完整图解

课堂讲述

现在选择红衣人在左、蓝衣人在右侧持球的对应条件。真正根据持球关系的规则应该选择蓝衣人;只看左边颜色的规则仍然选择红衣人。另一张对称条件也可以做同样的检查。 这就是为什么问卷要求改变条件,而不是只增加同类成功截图。对两个解释来说,原来一样的预测现在不一样了,结果才具有区分力。 即使模型通过这组比较,我们也只得到关于这些条件的证据,不自动证明它理解所有动作关系。但我们已经比“回答看起来不错”前进了一步:能够说明当前测试在区分什么。下一步,让语言直接要求输出那个对象的区域,又会引入什么新监督? 这里的同源照片经过颜色编辑和镜像,持球者的人物身份没有独立变化;我们用它区分图上这两条规则,不把它说成排除了所有替代解释。

四条件怎样让解释分叉,哪些变化仍然绑定

独立阅读

增加右侧持球的条件后,同一候选 A/B 产生下表:

条件 左侧颜色 持球者颜色 持球关系规则 左色规则
A 红 红 A A
B 蓝 蓝 B B
C 红 蓝 B A
D 蓝 红 A B

真正有区分力的是 C/D。只看 A/B 的满分无法区分两条规则;C/D 上如果预测追随持球者,则对关系解释提供更多支持。误差还可以细看:模型是否两种持球颜色都能区分,是否只在某一种词序或某位人物上成功。

当前素材的 A/B 同源,B 是颜色编辑;C 是 B 的精确镜像,D 是 A 的精确镜像。因此镜像同时改变位置、朝向和光照方向,持球者也仍是同一人物。这是一组针对已写明两条规则的对照,不是“只改变一个像素属性并排除所有解释”的实验。要排除人物身份捷径,需要另安排不同人物持球的输入;要排除文字模板捷径,还应换表达但保持任务关系。

教师可以指着非对角两格问:如果模型只看左边,会分别选什么?答案不是再背“相关不等于因果”,而是当场写出 A/B 两个不同预测,再用实际输出裁决这一次对照。

图示条件与公式约定

行是左侧衣服颜色(红/蓝),列是持球者颜色(红/蓝);左上 A、右上 C、左下 D、右下 B。C 是 B 的精确水平镜像;D 是 A 的精确水平镜像。两条规则预测分别为:A 红/红,C 蓝/红,D 红/蓝,B 蓝/蓝。镜像同时改变人物位置、朝向、光照方向;而且本组持球者都是同一位女子,所以本对照只区分所展示的颜色位置规则与持球颜色规则,不足以排除性别/人物身份等其他解释。稿中“把球交给右边”改写为“选择右侧持球的对应条件”,与实际素材变换一致。

这条线索的展开与后续阅读

视觉与语言怎样设计让两种解释产生不同预测的测试?

把规则四格与真实模型反例分开读

规则表提出可区分的预测;真实模型证据还需核对具体输入、文字与保存分数。

真实 CLIP 关系反例与规则四格,应分开读

独立阅读

持球四格首先是一份规则预测表;它与 LAB04 另一组真实 CLIP 关系推理不是同一证据。后者使用猫和宇航员的固定拼贴,交换左右位置,比较“猫在左、宇航员在右”及其相反描述。

2026-09-22 保存结果中,猫左图的两句余弦约为 0.37850、0.38184;交换后约为 0.35660、0.36301。两图都偏向“宇航员在左、猫在右”,所以第一张关系判断错误。这说明在该固定模型、拼贴与文字条件下,整体匹配没有正确区分这一次左右绑定。

但同一模型在猫图候选分类和小图库检索中有真实成功,不能用这个失败抹去对象匹配能力。更准确的研究问题是:哪些对象和语义可以由全局表示稳定匹配,哪些细粒度关系需要更合适的空间组织、交互或训练资料?

LAB12 的局部加权规则提供另一种解释路径:查询改变了猫/宇航员区域权重,却因汇总公式忽略坐标而对交换左右严格不敏感。这个失败来自可指出的结构对称性。它帮助区分“区域更多”与“关系已经被表达”,再自然接入 P63 的定位任务。以上均为已有历史记录,本轮没有重跑或扩大结论。

LAB04 的旧四幅持球插图也确实在 2026-09-22 做过真实 CLIP 编码,保存结果为四例中三例正确;它并非从未运行过模型。但那四幅旧输入与 v18 当前同源编辑/镜像的 A–D 底图不一致,且旧插图存在背景和姿态差异。旧分数不能贴到当前四格,也不能把 3/4 当成单变量因果结论。回链阅读时要连同原图片、候选和输入哈希一起核对。

沿着图解追问

以下是备课用的模拟师生对话,不是课堂实录。

学生:四格都对就证明理解持球关系了吗?

教师:它支持这组输入中关系规则胜过左色规则。当前持球人物身份未独立变化;要排除身份捷径,还要换持球者而保持其他条件可比较。

沿这个问题继续

先回看本页画面并指出输入、条件和输出,再按“四条件怎样让解释分叉,哪些变化仍然绑定 → 真实 CLIP 关系反例与规则四格,应分开读”阅读。相关实验以其已保存结果为起点,需要动手时再顺序执行 Notebook;

按问题回查的讲解与短练习(2)