Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03同一对象只交换左右,真实 CLIP 是否跟着关系改变?

同一对象只交换左右,真实 CLIP 是否跟着关系改变?

独立阅读

主线阅读与优先实验

真实CLIP输入/权重/分数、候选改动、四条件规则与独立关系推理

同一对象只交换左右,真实 CLIP 是否跟着关系改变?

2026-09-22 的关系实验先把同一猫照片和同一宇航员照片各裁成 224×224 方块,放入固定的 448×448 灰色画布。第二张只交换两个方块的横向位置,灰背景、像素内容、尺寸和两条文字都固定。它是明确的照片拼贴教学构造,来源分别是 Stefan van der Walt 的 CC0 猫图与 NASA 公共领域照片,不声称是自然拍摄场景。

候选 0:a cat on the left and an astronaut on the right.

候选 1:an astronaut on the left and a cat on the right.

实际输入 候选 0 cosine 候选 1 cosine 预测 判断
猫左/宇航员右 0.378499 0.381837 1 错
宇航员左/猫右 0.356597 0.363012 1 对

相同照片方块的左右交换及真实CLIP分数

分数本身确实随图改变,但两次排序都偏好候选 1。模型能抓住对象共现,不保证正确绑定“谁在左边”。这不是只看生成的句子判断成败,而是用已知坐标定义真值,再检验排序。两例能构成一个明确反例,不能估计关系理解的总体水平。

原四幅持球图也在 2026-09-22 实际编码,分数如下;前文“关系规则”的表仍是规则输出,不能用这个新表倒改其身份。四幅旧插图存在背景和姿态差异,所以 3/4 的局部正确率不是严格单变量因果结论。

条件 红衣持球文句 A 蓝衣持球文句 B CLIP 选择 定义真值
1 0.292193 0.292328 B A
2 0.292411 0.292754 B B
3 0.316829 0.317146 B B
4 0.308224 0.307590 A A

这里所有差距都很小。只看一张正确图片或只看最高候选名会掩盖这一点;扩充数据前不要把这四个结果称为稳定的关系能力。

**与当前课堂四格的区别:**上表属于已保存的旧四幅输入。v18 的 P61–62 后来改用同源颜色编辑和确定性镜像,不能直接把此处旧分数当作当前四格的模型输出。当前网页四格用于两条规则的预测比较;模型证据请依据本节保存的图片与输入哈希。当前四格的具体变化。