## 读非对角条件中的相反预测 ## 解释、算例与证据 # P62 · 把位置与关系拆开,解释才会分叉 四格的非对角条件才使两种解释分叉。逐格比较关系规则与左色规则的答案,并检查当前素材还有哪些变量共同变化。已保存的真实 CLIP 拼贴反例使用另一组输入与数值,应按各自条件解读。 图内标签与数值:红衣人持球;蓝衣人持球;左侧;红衣;左侧;蓝衣;持球规则 → 红 左侧规则 → 红;持球规则 → 蓝 左侧规则 → 红;持球规则 → 红 左侧规则 → 蓝;持球规则 → 蓝 左侧规则 → 蓝;非对角条件让两个解释分歧。图为同源编辑/镜像;镜像也改变姿态方向,未声称逐像素单变量。 四条件表的行固定左侧衣服颜色,列固定持球者颜色;非对角条件使持球规则与左侧规则分歧。 - 红衣人持球 - 蓝衣人持球 - 左侧 - 红衣 - 左侧 - 蓝衣 - 持球规则 → 红 左侧规则 → 红 - 持球规则 → 蓝 左侧规则 → 红 - 持球规则 → 红 左侧规则 → 蓝 - 持球规则 → 蓝 左侧规则 → 蓝 - 非对角条件让两个解释分歧。图为同源编辑/镜像;镜像也改变姿态方向,未声称逐像素单变量。四条件表的行固定左侧衣服颜色,列固定持球者颜色;非对角条件使持球规则与左侧规则分歧。 [查看对应图解状态](/#/l3-r2-p62/1)[查看完整图解](/course/figures/l3-r2-p62-1.html) ## 课堂讲述 现在选择红衣人在左、蓝衣人在右侧持球的对应条件。真正根据持球关系的规则应该选择蓝衣人;只看左边颜色的规则仍然选择红衣人。另一张对称条件也可以做同样的检查。 这就是为什么问卷要求改变条件,而不是只增加同类成功截图。对两个解释来说,原来一样的预测现在不一样了,结果才具有区分力。 即使模型通过这组比较,我们也只得到关于这些条件的证据,不自动证明它理解所有动作关系。但我们已经比“回答看起来不错”前进了一步:能够说明当前测试在区分什么。下一步,让语言直接要求输出那个对象的区域,又会引入什么新监督? 这里的同源照片经过颜色编辑和镜像,持球者的人物身份没有独立变化;我们用它区分图上这两条规则,不把它说成排除了所有替代解释。 ### 四条件怎样让解释分叉,哪些变化仍然绑定 [独立阅读](/course/blocks/relation-four-condition-table.html) 增加右侧持球的条件后,同一候选 A/B 产生下表: | 条件 | 左侧颜色 | 持球者颜色 | 持球关系规则 | 左色规则 | | --- | --- | --- | --- | --- | | A | 红 | 红 | A | A | | B | 蓝 | 蓝 | B | B | | C | 红 | 蓝 | B | A | | D | 蓝 | 红 | A | B | 真正有区分力的是 C/D。只看 A/B 的满分无法区分两条规则;C/D 上如果预测追随持球者,则对关系解释提供更多支持。误差还可以细看:模型是否两种持球颜色都能区分,是否只在某一种词序或某位人物上成功。 当前素材的 A/B 同源,B 是颜色编辑;C 是 B 的精确镜像,D 是 A 的精确镜像。因此镜像同时改变位置、朝向和光照方向,持球者也仍是同一人物。这是一组针对已写明两条规则的对照,不是“只改变一个像素属性并排除所有解释”的实验。要排除人物身份捷径,需要另安排不同人物持球的输入;要排除文字模板捷径,还应换表达但保持任务关系。 教师可以指着非对角两格问:如果模型只看左边,会分别选什么?答案不是再背“相关不等于因果”,而是当场写出 A/B 两个不同预测,再用实际输出裁决这一次对照。 #### 图示条件与公式约定 行是左侧衣服颜色(红/蓝),列是持球者颜色(红/蓝);左上 A、右上 C、左下 D、右下 B。C 是 B 的精确水平镜像;D 是 A 的精确水平镜像。两条规则预测分别为:A 红/红,C 蓝/红,D 红/蓝,B 蓝/蓝。镜像同时改变人物位置、朝向、光照方向;而且本组持球者都是同一位女子,所以本对照只区分所展示的颜色位置规则与持球颜色规则,不足以排除性别/人物身份等其他解释。稿中“把球交给右边”改写为“选择右侧持球的对应条件”,与实际素材变换一致。 #### 这条线索的展开与后续阅读 - [让右边的人拿球,两条规则就分开了](/supplement.html?return=l3-r2-p62/0#/l3-relation-test/0) 本页说明 ## 把规则四格与真实模型反例分开读 规则表提出可区分的预测;真实模型证据还需核对具体输入、文字与保存分数。 ### 真实 CLIP 关系反例与规则四格,应分开读 [独立阅读](/course/blocks/clip-spatial-counterexample.html) 持球四格首先是一份规则预测表;它与 LAB04 另一组真实 CLIP 关系推理不是同一证据。后者使用猫和宇航员的固定拼贴,交换左右位置,比较“猫在左、宇航员在右”及其相反描述。 2026-09-22 保存结果中,猫左图的两句余弦约为 0.37850、0.38184;交换后约为 0.35660、0.36301。两图都偏向“宇航员在左、猫在右”,所以第一张关系判断错误。这说明在该固定模型、拼贴与文字条件下,整体匹配没有正确区分这一次左右绑定。 但同一模型在猫图候选分类和小图库检索中有真实成功,不能用这个失败抹去对象匹配能力。更准确的研究问题是:哪些对象和语义可以由全局表示稳定匹配,哪些细粒度关系需要更合适的空间组织、交互或训练资料? LAB12 的局部加权规则提供另一种解释路径:查询改变了猫/宇航员区域权重,却因汇总公式忽略坐标而对交换左右严格不敏感。这个失败来自可指出的结构对称性。它帮助区分“区域更多”与“关系已经被表达”,再自然接入 P63 的定位任务。以上均为已有历史记录,本轮没有重跑或扩大结论。 LAB04 的旧四幅持球插图也确实在 2026-09-22 做过真实 CLIP 编码,保存结果为四例中三例正确;它并非从未运行过模型。但那四幅旧输入与 v18 当前同源编辑/镜像的 A–D 底图不一致,且旧插图存在背景和姿态差异。旧分数不能贴到当前四格,也不能把 3/4 当成单变量因果结论。回链阅读时要连同原图片、候选和输入哈希一起核对。 ### 沿着图解追问 以下是备课用的模拟师生对话,不是课堂实录。 **学生:**四格都对就证明理解持球关系了吗? **教师:**它支持这组输入中关系规则胜过左色规则。当前持球人物身份未独立变化;要排除身份捷径,还要换持球者而保持其他条件可比较。 ## 沿这个问题继续 先回看本页画面并指出输入、条件和输出,再按“四条件怎样让解释分叉,哪些变化仍然绑定 → 真实 CLIP 关系反例与规则四格,应分开读”阅读。相关实验以其已保存结果为起点,需要动手时再顺序执行 Notebook; #### 按问题回查的讲解与短练习(2) **出处:**[S12 · 教材与出处](/course/round2-sources.html#S12)