换候选、换模板、换图像：三个不同干预

训练完后，CLIP 可以把类别写成文字候选，例如 a photo of a cat.，再比较图像与每条候选的表示。这里的 zero-shot 用法，是不使用当前下游数据集再训练模型，直接用已有的图像和文字编码器比较候选描述。它不保证相关概念从未出现在预训练资料中。改变候选文字，会改变这次比较的答案集合；加入新候选会改变 softmax 归一化分数，因此这些分数不能直接视为稳定校准的真实概率。

设猫和狗的 logits 是 2 与 1，候选 softmax 给猫 $e^2/(e^2+e)=0.7311$。新增一个 logit 同为 2 的幼猫候选，原猫概率变为 $e^2/(2e^2+e)=0.4223$。同一图像、同一猫文字、同一点积都没有改变，只是分母和选项变了。

因此有三个需要隔离的实验。只增候选：已有候选余弦应保持，softmax 可以改变。只改文字模板：文字向量改变，余弦也可能改变。只换图像：图像向量改变，应检查哪些候选关系随视觉内容变化。若三者一起改，就难以解释分数差异。

LAB04 保留的四臂猫图实验专门做这件事：A 是三类基础候选，B 添加 tiger/fox，C 保持三类但改 cropped 模板，D 从 B 删除 cat。删除正确选项后仍然必有最高项；这不是模型发现照片没有猫，而是回答空间已经被使用者改变。