Lecture 03同一对象只交换左右,真实 CLIP 是否跟着关系改变?
同一对象只交换左右,真实 CLIP 是否跟着关系改变?
主线阅读与优先实验
真实CLIP输入/权重/分数、候选改动、四条件规则与独立关系推理
同一对象只交换左右,真实 CLIP 是否跟着关系改变?
2026-09-22 的关系实验先把同一猫照片和同一宇航员照片各裁成 224×224 方块,放入固定的 448×448 灰色画布。第二张只交换两个方块的横向位置,灰背景、像素内容、尺寸和两条文字都固定。它是明确的照片拼贴教学构造,来源分别是 Stefan van der Walt 的 CC0 猫图与 NASA 公共领域照片,不声称是自然拍摄场景。
候选 0:a cat on the left and an astronaut on the right.
候选 1:an astronaut on the left and a cat on the right.
| 实际输入 | 候选 0 cosine | 候选 1 cosine | 预测 | 判断 |
|---|---|---|---|---|
| 猫左/宇航员右 | 0.378499 | 0.381837 | 1 | 错 |
| 宇航员左/猫右 | 0.356597 | 0.363012 | 1 | 对 |

分数本身确实随图改变,但两次排序都偏好候选 1。模型能抓住对象共现,不保证正确绑定“谁在左边”。这不是只看生成的句子判断成败,而是用已知坐标定义真值,再检验排序。两例能构成一个明确反例,不能估计关系理解的总体水平。
原四幅持球图也在 2026-09-22 实际编码,分数如下;前文“关系规则”的表仍是规则输出,不能用这个新表倒改其身份。四幅旧插图存在背景和姿态差异,所以 3/4 的局部正确率不是严格单变量因果结论。
| 条件 | 红衣持球文句 A | 蓝衣持球文句 B | CLIP 选择 | 定义真值 |
|---|---|---|---|---|
| 1 | 0.292193 | 0.292328 | B | A |
| 2 | 0.292411 | 0.292754 | B | B |
| 3 | 0.316829 | 0.317146 | B | B |
| 4 | 0.308224 | 0.307590 | A | A |
这里所有差距都很小。只看一张正确图片或只看最高候选名会掩盖这一点;扩充数据前不要把这四个结果称为稳定的关系能力。
**与当前课堂四格的区别:**上表属于已保存的旧四幅输入。v18 的 P61–62 后来改用同源颜色编辑和确定性镜像,不能直接把此处旧分数当作当前四格的模型输出。当前网页四格用于两条规则的预测比较;模型证据请依据本节保存的图片与输入哈希。当前四格的具体变化。