CLS 10 · CLIP：配对学习与可复用表示

两个编码器，一个配对目标

按问题继续

CLIP对称目标、候选集合、缓存、IVF及真实关系分数

学习路径： 文字候选与图文检索

从P57 配对矩阵进入，沿着P58 文字候选到P59 图库缓存：同一图文表示怎样从训练目标变成可用接口？

这里的zero-shot是不使用当前下游数据集再训练模型，直接用已有图像和文字编码器比较候选描述。不保证相关概念未进入预训练；没有专用分类头也不足以单独证明这个协议成立。

先看配对损失与候选分数，再到LAB 04核对真实照片的cosine/softmax。关心检索时继续LAB 12的缓存、命中ID和评价；近似索引及查询交互留第八讲选读。

读完应能区分表示质量、候选定义和索引误差：一个返回结果错了，是模型没排对，还是近似检索漏掉了本来排前的项？

两个编码器，一个配对目标

图像与文字分别归一化为 $v_i,u_j$，矩阵 $S_{ij}=v_i^Tu_j$ 同时支持图搜文与文搜图。双向交叉熵让原有配对相对其他候选更容易被选出。课堂三对图文的完整数值见 三对图文的双向损失：从单位向量到 0.09567：温度 .2，正确概率约 .90876，双向损失约 .09567。CLS03 热身采用另一组向量与温度，不能混用两套数值。

为什么这是可用的新接口

原始 CLIP 研究展示自然语言监督能迁移到多种视觉任务，并用文字定义当前分类候选；无需为每次候选集合重训一个固定类别头。论文中的正面迁移证据。它留下的是图文比较接口，描述生成与定位仍需相应输出。

三个干预，三个不同问题

固定图像和候选文字，只新增选项：原余弦可保持，但 softmax 分母改变。改模板：文本向量改变，余弦也可能改变。改图片：视觉向量改变，应检查分数是否跟随所需视觉内容。

若猫/狗 logits 为 2/1，猫概率为 .7311；添加 logit 为2的“幼猫”，原猫项变为 .4223。两次图像与原猫文字并没有变。候选内概率不能单独解读为开放世界真实性。完整算例。

LAB04 的真实猫图已保存上述接口对照。LAB12 使用完整 512 维编码，不是把候选分数拼成向量。两本共享模型身份、各答不同问题：前者解释模型与候选，后者解释缓存和搜索。