# CLIP：文字怎样从标签表变成学习信号
[独立阅读](/course/blocks/clip-pairing-objective.html)**课堂上下文：从哪个问题来**
CLIP 选择配对识别作为学习任务。两套编码器各自处理图片和文字，配对资料指出哪些对应应更容易被选出。与图像自监督对比的联系是训练关系的来源不同；文字监督拓展语义供给，下一页才用矩阵落实损失。


监督分类先规定一个类别表，再让模型预测表中的索引。图文配对可以提供更丰富的语义：文字可能同时包含对象、属性、动作和场景。CLIP 选择一个可扩展的任务——在一批图文中识别原有配对——把这些描述用于训练可比较的表示。



设图像编码器为 $f$，文字编码器为 $g$，归一化后得到 $v_i=f(I_i)/\|f(I_i)\|$、$u_j=g(T_j)/\|g(T_j)\|$。两个编码器分别处理各自输入，然后用点积 $S_{ij}=v_i^Tu_j$ 比较。没有先让图像生成一句话，再把两句话相互比较。



与第一部分的图像对比学习相连：两张增强视图的正关系来自同一原图；CLIP 的正关系来自资料中的图文配对。文字已经包含人的选择和表达，因此“没有固定类别标签”不等于“没有人类监督”。



训练完保留两套编码器，新图像与新文字可以进入同一比较接口。使用者能更换候选描述或建立检索库，这是方法的正面能力。它还没有提供下一词预测分布或框回归输出；若新任务需要这些输出，要另行定义模块、目标和训练。



图内标签与数值：图像编码器；“红衣人拿着篮球，；旁边站着蓝衣人。”；文字编码器；文字 → 向量；比较；训练答案：这一图像与这一段文字配成一对；向量条纹仅标示接口，未作定量含义；CLIP 学习图文匹配，不在此分支生成完整句子。

配对关系先于模型给定；两套编码器学会把配对送入可比较空间。 查看对应图解状态

- 图像编码器
- “红衣人拿着篮球，
- 旁边站着蓝衣人。”
- 文字编码器
- 文字 → 向量
- 比较
- 训练答案：这一图像与这一段文字配成一对
- 向量条纹仅标示接口，未作定量含义；CLIP 学习图文匹配，不在此分支生成完整句子。配对关系先于模型给定；两套编码器学会把配对送入可比较空间。 [查看对应图解状态](/#/l3-r2-p56/0)[查看完整图解](/#/l3-r2-p56/0)
**出处：**[CLIP（ICML 2021）](https://proceedings.mlr.press/v139/radford21a.html)
## 继续阅读与实验