视觉与语言 已知图文配对怎样变成可用的文字候选接口？
P58 · 用文字组织类别，而不是重做一张固定标签表 这里的 zero-shot 不使用当前下游数据集再训练模型，而用已有编码器比较文字候选。增加候选和更换模板是不同干预：前者可以只变 softmax 分母，后者会改变文本向量。LAB04 的真实猫图四臂比较保留，可直接阅读已有结果，不必为理解接口重跑模型。
图像编码器 红色杯子 蓝色杯子 红色球 红色马克杯 同一图像表示 增加近义候选，归一化分数也会改变。 zero-shot：不使用当前下游数据集再训练模型 候选与连线为使用接口示意；不填写未运行的候选分数，也不声称概念从未出现在预训练中。 同一红杯图像编码保持不变，候选从红杯、蓝杯、红球三项增加近义的红色马克杯。 查看对应图解状态 查看完整图解 传统分类头的输出位置绑定训练时的类别集合。CLIP 可以把我们提供的类别描述先编码，再与图像比较，这就让使用接口更灵活。
这里的 zero-shot 用法，是不使用当前下游数据集再训练模型，直接用已有的图像和文字编码器比较候选描述。它不保证相关概念从未出现在预训练资料中。改变候选文字，会改变这次比较的答案集合；加入新候选会改变 softmax 归一化分数，因此这些分数不能直接视为稳定校准的真实概率。
最重要的是看：相同视觉表示怎样在文字描述的帮助下进入一个新任务。
训练完后，CLIP 可以把类别写成文字候选，例如 a photo of a cat.，再比较图像与每条候选的表示。这里的 zero-shot 用法，是不使用当前下游数据集再训练模型，直接用已有的图像和文字编码器比较候选描述。它不保证相关概念从未出现在预训练资料中。改变候选文字，会改变这次比较的答案集合；加入新候选会改变 softmax 归一化分数，因此这些分数不能直接视为稳定校准的真实概率。
设猫和狗的 logits 是 2 与 1，候选 softmax 给猫 e 2 / ( e 2 + e ) = 0.7311 e^2/(e^2+e)=0.7311 e 2 / ( e 2 + e ) = 0.7311 e 2 / ( 2 e 2 + e ) = 0.4223 e^2/(2e^2+e)=0.4223 e 2 / ( 2 e 2 + e ) = 0.4223
因此有三个需要隔离的实验。只增候选：已有候选余弦应保持，softmax 可以改变。只改文字模板：文字向量改变，余弦也可能改变。只换图像：图像向量改变，应检查哪些候选关系随视觉内容变化。若三者一起改，就难以解释分数差异。
LAB04 保留的四臂猫图实验专门做这件事：A 是三类基础候选，B 添加 tiger/fox，C 保持三类但改 cropped 模板，D 从 B 删除 cat。删除正确选项后仍然必有最高项；这不是模型发现照片没有猫，而是回答空间已经被使用者改变。
候选集由课程明确给定。两个状态共用同一图像表示，第二状态只增加“红色马克杯”文本候选；不提供未运行的模型分数。候选 softmax 随比较集合变化，不等于已校准的开放世界概率。
视觉与语言 已知图文配对怎样变成可用的文字候选接口？
LAB04 已保存的真实猫图推理结果。A 为 cat/dog/horse；B 增加 tiger/fox；C 保留 A 的候选、改为 cropped 模板；D 从 B 去掉 cat。结果来自既有记录，本轮没有运行模型。 当前 LAB04 保存真实 Chelsea 猫照片与 OpenAI CLIP ViT-B/32 实验。2026-09-22 的本地复核使用固定 checkpoint revision 3d74acf9a28c67741b2f4f2ea7635f0aaf6f0268，没有重新训练 CLIP；当前整理也没有重跑该推理。图片先转 RGB、缩放并中心裁剪到 224 × 224 224\times224 224 × 224
基础 cat/dog/horse 候选下，cat 余弦约 0.28691、候选 softmax 约 0.99577；添加 tiger 与 fox 后，共享 cat 的余弦保持不变，softmax 降至约 0.98195；再删除 cat，tiger 成为剩余候选的最高项。新旧猫图余弦最大差约 1.04 × 10 − 7 1.04\times10^{-7} 1.04 × 1 0 − 7
正面结果是模型可以在这张真实照片上把图像与合理文字对应，并且其候选接口的变化符合预期。数值 0.99577 是给定候选集合内的相对分配，不是“现实中有猫的校准概率”。一张猫图也不能替代数据集级泛化评测。
LAB04 负责模型输入、候选、模板和关系检查；LAB12 复用同一模型产生的完整 512 维向量，研究图库缓存与搜索。不要把四个候选分数拼成所谓图像表示；真正可复用的是编码器输出的向量。先在 LAB04 理解分数身份，再在 LAB12 看系统组织，就无需重复训练或建立两份同义实验。
先对照阅读顺序 选择要隔离的变量 LAB04 完整结果与运行入口 教师： 余弦没有变；概率分母多了一个竞争项。它回答的是这组选项里的相对分配。请同时保存原始相似度和候选集合。
此引用的原文已在较早版本调整 原位置：clip-lab04-candidate-controls。当前正文保留在本篇；此旧引用没有足够证据自动等同于某个新段落。
此引用的原文已在较早版本调整 原位置：document。当前正文保留在本篇；此旧引用没有足够证据自动等同于某个新段落。
此引用的原文已在较早版本调整 原位置：clip-candidate-interface-bridge。当前正文保留在本篇；此旧引用没有足够证据自动等同于某个新段落。
