Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03历史保存结果使用 OpenAI CLIP ViT-B/32 的真实预训练权重与固定真实照片 Chelsea the cat(St…

历史保存结果使用 OpenAI CLIP ViT-B/32 的真实预训练权重与固定真实照片 Chelsea the cat(St…

独立阅读

主线阅读与优先实验

真实CLIP输入/权重/分数、候选改动、四条件规则与独立关系推理

历史保存结果使用 OpenAI CLIP ViT-B/32 的真实预训练权重与固定真实照片 Chelsea the cat(Stefan van der Walt,CC0,来自 scikit-image v0.25.2)。模型与官方预处理固定,不做任何梯度更新。模型的大规模图文预训练没有在本册重做。

比较分为四臂,避免把候选集合与 prompt 同时改变:

臂 候选 prompt 隔离的问题
A cat / dog / horse a photo of a {name}. 固定的基线任务
B cat / dog / horse / tiger / fox 与 A 相同 只扩展候选集合
C 与 A 相同 a cropped photo of a {name}. 只改变描述模板
D dog / horse / tiger / fox 与 A 相同 删除原正确类别,改变可选答案空间

记录 cosine 相似度、模型 logit scale、softmax、top-1。当只扩展候选集时,共享候选的 cosine 应保持不变,而 softmax 会因分母改变。D 以 B 为直接对照:候选集只删除 cat、保留 B 的其余候选和 prompt。删除 cat 后,模型仍必须从剩余候选选一个;高相对分数不构成“开放世界里确定有它”的证明。

重算需安装 requirements.txt,运行 python fetch_clip.py 取得固定 revision 权重,再运行本节。下载失败时本节明确标为未运行;没有用随机相似度代替。模型文件约 600 MB,不放入教学小包。

**预处理复核(2026-09-18):**本包固定 transformers==4.57.1 与模型 revision。保存输出中的 use_fast 提醒说明当时使用 CLIPImageProcessor,不是执行失败。2026-09-18 的复核将同一慢图像处理器和 CLIPTokenizerFast 分开显式指定:RGB → 短边缩放 224(bicubic)→ 224×224 中心裁剪 → 按官方均值/标准差归一化。用包内同一照片及四臂全部 prompt,仅重跑预处理,所得像素张量和 token IDs 与原默认选择完全相同(最大像素张量差 0)。原相似度、图和输出仍是此前模型推理保存结果;该次预处理复核没有重跑模型。详细复核见包内 results/preprocessing-audit-20260918.json。