# 换候选、换模板、换图像：三个不同干预
[独立阅读](/course/blocks/clip-candidate-probability.html)**课堂上下文：从哪个问题来**
这里的 zero-shot 不使用当前下游数据集再训练模型，而用已有编码器比较文字候选。增加候选和更换模板是不同干预：前者可以只变 softmax 分母，后者会改变文本向量。LAB04 的真实猫图四臂比较保留，可直接阅读已有结果，不必为理解接口重跑模型。


训练完后，CLIP 可以把类别写成文字候选，例如 `a photo of a cat.`，再比较图像与每条候选的表示。这里的 zero-shot 用法，是不使用当前下游数据集再训练模型，直接用已有的图像和文字编码器比较候选描述。它不保证相关概念从未出现在预训练资料中。改变候选文字，会改变这次比较的答案集合；加入新候选会改变 softmax 归一化分数，因此这些分数不能直接视为稳定校准的真实概率。



设猫和狗的 logits 是 2 与 1，候选 softmax 给猫 $e^2/(e^2+e)=0.7311$。新增一个 logit 同为 2 的幼猫候选，原猫概率变为 $e^2/(2e^2+e)=0.4223$。同一图像、同一猫文字、同一点积都没有改变，只是分母和选项变了。



因此有三个需要隔离的实验。只增候选：已有候选余弦应保持，softmax 可以改变。只改文字模板：文字向量改变，余弦也可能改变。只换图像：图像向量改变，应检查哪些候选关系随视觉内容变化。若三者一起改，就难以解释分数差异。



LAB04 保留的四臂猫图实验专门做这件事：A 是三类基础候选，B 添加 tiger/fox，C 保持三类但改 cropped 模板，D 从 B 删除 cat。删除正确选项后仍然必有最高项；这不是模型发现照片没有猫，而是回答空间已经被使用者改变。



图内标签与数值：图像编码器；红色杯子；蓝色杯子；红色球；红色马克杯；同一图像表示；增加近义候选，归一化分数也会改变。；zero-shot：不使用当前下游数据集再训练模型；候选与连线为使用接口示意；不填写未运行的候选分数，也不声称概念从未出现在预训练中。

新增文本候选会改变比较集合；画面没有给出未经运行的新模型分数。 查看对应图解状态

- 图像编码器
- 红色杯子
- 蓝色杯子
- 红色球
- 红色马克杯
- 同一图像表示
- 增加近义候选，归一化分数也会改变。
- zero-shot：不使用当前下游数据集再训练模型
- 候选与连线为使用接口示意；不填写未运行的候选分数，也不声称概念从未出现在预训练中。新增文本候选会改变比较集合；画面没有给出未经运行的新模型分数。 [查看对应图解状态](/#/l3-r2-p58/1)[查看完整图解](/#/l3-r2-p58/1)
**出处：**[CLIP（ICML 2021）](https://proceedings.mlr.press/v139/radford21a.html)
## 继续阅读与实验