[CLS 10 · CLIP：配对学习与可复用表示](/course/notebooks/d890081ddce04dac9aec8238b2809250.html)

# 两个编码器，一个配对目标
[独立阅读](/course/notebook-blocks/ed31be25c84b4c4eb511e2b846038ac3.html)
按问题继续

CLIP对称目标、候选集合、缓存、IVF及真实关系分数

**学习路径：** [文字候选与图文检索](/course/study/clip-retrieval.html)

从[P57 配对矩阵](/course/pages/l3-r2-p57.html)进入，沿着[P58 文字候选](/course/pages/l3-r2-p58.html)到[P59 图库缓存](/course/pages/l3-r2-p59.html)：同一图文表示怎样从训练目标变成可用接口？

这里的zero-shot是**不使用当前下游数据集再训练模型，直接用已有图像和文字编码器比较候选描述**。不保证相关概念未进入预训练；没有专用分类头也不足以单独证明这个协议成立。

先看配对损失与候选分数，再到[LAB 04](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/0ba963931ddf4866b507b210d93a43bf)核对真实照片的cosine/softmax。关心检索时继续[LAB 12](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/921eeaf784284ce19568c6ca7619b55a)的缓存、命中ID和评价；近似索引及查询交互留第八讲选读。

读完应能区分表示质量、候选定义和索引误差：一个返回结果错了，是模型没排对，还是近似检索漏掉了本来排前的项？

## 两个编码器，一个配对目标

图像与文字分别归一化为 $v_i,u_j$，矩阵 $S_{ij}=v_i^Tu_j$ 同时支持图搜文与文搜图。双向交叉熵让原有配对相对其他候选更容易被选出。课堂三对图文的完整数值见 [三对图文的双向损失：从单位向量到 0.09567](/course/blocks/clip-matrix-worked.html)：温度 .2，正确概率约 .90876，双向损失约 .09567。CLS03 热身采用另一组向量与温度，不能混用两套数值。

## 为什么这是可用的新接口

原始 CLIP 研究展示自然语言监督能迁移到多种视觉任务，并用文字定义当前分类候选；无需为每次候选集合重训一个固定类别头。[论文中的正面迁移证据](/course/blocks/clip-positive-transfer-evidence.html)。它留下的是图文比较接口，描述生成与定位仍需相应输出。

## 三个干预，三个不同问题

固定图像和候选文字，只新增选项：原余弦可保持，但 softmax 分母改变。改模板：文本向量改变，余弦也可能改变。改图片：视觉向量改变，应检查分数是否跟随所需视觉内容。

若猫/狗 logits 为 2/1，猫概率为 .7311；添加 logit 为2的“幼猫”，原猫项变为 .4223。两次图像与原猫文字并没有变。候选内概率不能单独解读为开放世界真实性。[完整算例](/course/blocks/clip-candidate-probability.html)。

LAB04 的真实猫图已保存上述接口对照。LAB12 使用完整 512 维编码，不是把候选分数拼成向量。两本共享模型身份、各答不同问题：前者解释模型与候选，后者解释缓存和搜索。