[LAB 04 · CLIP：候选、提示与关系检验](/course/notebooks/0ba963931ddf4866b507b210d93a43bf.html)

# 历史保存结果使用 OpenAI CLIP ViT-B/32 的真实预训练权重与固定真实照片 Chelsea the cat（St…
[独立阅读](/course/notebook-blocks/fc8ddc9df75d4837b5394962ee0837d3.html)
主线阅读与优先实验

真实CLIP输入/权重/分数、候选改动、四条件规则与独立关系推理

历史保存结果使用 **OpenAI CLIP ViT-B/32** 的真实预训练权重与固定真实照片 Chelsea the cat（Stefan van der Walt，CC0，来自 scikit-image v0.25.2）。模型与官方预处理固定，不做任何梯度更新。模型的大规模图文预训练没有在本册重做。

比较分为四臂，避免把候选集合与 prompt 同时改变：

| 臂 | 候选 | prompt | 隔离的问题 |
| --- | --- | --- | --- |
| A | cat / dog / horse | a photo of a `{name}`. | 固定的基线任务 |
| B | cat / dog / horse / tiger / fox | 与 A 相同 | 只扩展候选集合 |
| C | 与 A 相同 | a cropped photo of a `{name}`. | 只改变描述模板 |
| D | dog / horse / tiger / fox | 与 A 相同 | 删除原正确类别，改变可选答案空间 |

记录 **cosine 相似度、模型 logit scale、softmax、top-1**。当只扩展候选集时，共享候选的 cosine 应保持不变，而 softmax 会因分母改变。D 以 B 为直接对照：候选集只删除 cat、保留 B 的其余候选和 prompt。删除 cat 后，模型仍必须从剩余候选选一个；高相对分数不构成“开放世界里确定有它”的证明。

重算需安装 `requirements.txt`，运行 `python fetch_clip.py` 取得固定 revision 权重，再运行本节。下载失败时本节明确标为未运行；没有用随机相似度代替。模型文件约 600 MB，不放入教学小包。

来源：[OpenAI CLIP 官方实现](https://github.com/openai/CLIP)；[官方模型卡](https://huggingface.co/openai/clip-vit-base-patch32)；[真实照片](https://scikit-image.org/docs/stable/api/skimage.data.html#skimage.data.chelsea)。

**预处理复核（2026-09-18）：**本包固定 `transformers==4.57.1` 与模型 revision。保存输出中的 `use_fast` 提醒说明当时使用 `CLIPImageProcessor`，不是执行失败。2026-09-18 的复核将同一慢图像处理器和 `CLIPTokenizerFast` 分开显式指定：RGB → 短边缩放 224（bicubic）→ 224×224 中心裁剪 → 按官方均值／标准差归一化。用包内同一照片及四臂全部 prompt，仅重跑预处理，所得像素张量和 token IDs 与原默认选择完全相同（最大像素张量差 0）。原相似度、图和输出仍是此前模型推理保存结果；该次预处理复核没有重跑模型。详细复核见包内 `results/preprocessing-audit-20260918.json`。