历史保存结果使用 OpenAI CLIP ViT-B/32 的真实预训练权重与固定真实照片 Chelsea the cat(St…
主线阅读与优先实验
真实CLIP输入/权重/分数、候选改动、四条件规则与独立关系推理
历史保存结果使用 OpenAI CLIP ViT-B/32 的真实预训练权重与固定真实照片 Chelsea the cat(Stefan van der Walt,CC0,来自 scikit-image v0.25.2)。模型与官方预处理固定,不做任何梯度更新。模型的大规模图文预训练没有在本册重做。
比较分为四臂,避免把候选集合与 prompt 同时改变:
| 臂 | 候选 | prompt | 隔离的问题 |
|---|---|---|---|
| A | cat / dog / horse | a photo of a {name}. |
固定的基线任务 |
| B | cat / dog / horse / tiger / fox | 与 A 相同 | 只扩展候选集合 |
| C | 与 A 相同 | a cropped photo of a {name}. |
只改变描述模板 |
| D | dog / horse / tiger / fox | 与 A 相同 | 删除原正确类别,改变可选答案空间 |
记录 cosine 相似度、模型 logit scale、softmax、top-1。当只扩展候选集时,共享候选的 cosine 应保持不变,而 softmax 会因分母改变。D 以 B 为直接对照:候选集只删除 cat、保留 B 的其余候选和 prompt。删除 cat 后,模型仍必须从剩余候选选一个;高相对分数不构成“开放世界里确定有它”的证明。
重算需安装 requirements.txt,运行 python fetch_clip.py 取得固定 revision 权重,再运行本节。下载失败时本节明确标为未运行;没有用随机相似度代替。模型文件约 600 MB,不放入教学小包。
**预处理复核(2026-09-18):**本包固定 transformers==4.57.1 与模型 revision。保存输出中的 use_fast 提醒说明当时使用 CLIPImageProcessor,不是执行失败。2026-09-18 的复核将同一慢图像处理器和 CLIPTokenizerFast 分开显式指定:RGB → 短边缩放 224(bicubic)→ 224×224 中心裁剪 → 按官方均值/标准差归一化。用包内同一照片及四臂全部 prompt,仅重跑预处理,所得像素张量和 token IDs 与原默认选择完全相同(最大像素张量差 0)。原相似度、图和输出仍是此前模型推理保存结果;该次预处理复核没有重跑模型。详细复核见包内 results/preprocessing-audit-20260918.json。