[LAB 04 · CLIP:候选、提示与关系检验](/course/notebooks/0ba963931ddf4866b507b210d93a43bf.html) # 同一对象只交换左右,真实 CLIP 是否跟着关系改变? [独立阅读](/course/notebook-blocks/fe69124edb824641b98df3d509006d26.html) 主线阅读与优先实验 真实CLIP输入/权重/分数、候选改动、四条件规则与独立关系推理 ### 同一对象只交换左右,真实 CLIP 是否跟着关系改变? 2026-09-22 的关系实验先把同一猫照片和同一宇航员照片各裁成 224×224 方块,放入固定的 448×448 灰色画布。第二张只交换两个方块的横向位置,灰背景、像素内容、尺寸和两条文字都固定。它是明确的照片拼贴教学构造,来源分别是 Stefan van der Walt 的 CC0 猫图与 NASA 公共领域照片,不声称是自然拍摄场景。 候选 0:`a cat on the left and an astronaut on the right.` 候选 1:`an astronaut on the left and a cat on the right.` | 实际输入 | 候选 0 cosine | 候选 1 cosine | 预测 | 判断 | | --- | --- | --- | --- | --- | | 猫左/宇航员右 | 0.378499 | 0.381837 | 1 | 错 | | 宇航员左/猫右 | 0.356597 | 0.363012 | 1 | 对 | ![相同照片方块的左右交换及真实CLIP分数](/assets/display/63d21d5ec6a87d5ee56b04b2.webp) 分数本身确实随图改变,但两次排序都偏好候选 1。模型能抓住对象共现,不保证正确绑定“谁在左边”。这不是只看生成的句子判断成败,而是用已知坐标定义真值,再检验排序。两例能构成一个明确反例,不能估计关系理解的总体水平。 原四幅持球图也在 2026-09-22 实际编码,分数如下;前文“关系规则”的表仍是规则输出,不能用这个新表倒改其身份。四幅旧插图存在背景和姿态差异,所以 3/4 的局部正确率不是严格单变量因果结论。 | 条件 | 红衣持球文句 A | 蓝衣持球文句 B | CLIP 选择 | 定义真值 | | --- | --- | --- | --- | --- | | 1 | 0.292193 | 0.292328 | B | A | | 2 | 0.292411 | 0.292754 | B | B | | 3 | 0.316829 | 0.317146 | B | B | | 4 | 0.308224 | 0.307590 | A | A | 这里所有差距都很小。只看一张正确图片或只看最高候选名会掩盖这一点;扩充数据前不要把这四个结果称为稳定的关系能力。 **与当前课堂四格的区别:**上表属于已保存的旧四幅输入。v18 的 P61–62 后来改用同源颜色编辑和确定性镜像,不能直接把此处旧分数当作当前四格的模型输出。当前网页四格用于两条规则的预测比较;模型证据请依据本节保存的图片与输入哈希。[当前四格的具体变化](/course/blocks/relation-four-condition-table.html)。