## 从固定标签表到已知图文配对

## 解释、算例与证据

# P56 · CLIP 选择的任务：先学哪幅图与哪段话相配

CLIP 选择配对识别作为学习任务。两套编码器各自处理图片和文字，配对资料指出哪些对应应更容易被选出。与图像自监督对比的联系是训练关系的来源不同；文字监督拓展语义供给，下一页才用矩阵落实损失。



图内标签与数值：图像编码器；“红衣人拿着篮球，；旁边站着蓝衣人。”；文字编码器；文字 → 向量；比较；训练答案：这一图像与这一段文字配成一对；向量条纹仅标示接口，未作定量含义；CLIP 学习图文匹配，不在此分支生成完整句子。

图像 Iᵢ → 图像编码器 f → 单位向量 vᵢ；配对文字 Tᵢ → 文字编码器 g → 单位向量 uᵢ。

比较 Sᵢⱼ = vᵢᵀuⱼ。已知图文配对提供训练答案；无需先生成句子。图中条纹表示接口，不是实测分数。
图像和文字分别编码成向量，在共享空间比较；图文配对提供训练答案。 [查看对应图解状态](/#/l3-r2-p56/0)[查看完整图解](/course/figures/l3-r2-p56-0.html)

## 课堂讲述

如果希望利用更多图文配对，不一定非要从图片预测描述中的每一个准确词语。CLIP 选择了更直接的对应任务：让配对图文的表示相互匹配。
这里我们可以复用第一部分的理解。那里比较的是同一图像产生的不同视图；这里比较的是图像与文字。训练目标仍然围绕对应关系，但文字带来了人已经组织过的语义。
两边各有编码器，并不是先把图片翻译成完整句子，再拿句子比较。编码器把它们送进可比较的表示空间。这个任务到底怎样形成监督，下一页用一个很小的批次完整走一遍。


### CLIP：文字怎样从标签表变成学习信号
[独立阅读](/course/blocks/clip-pairing-objective.html)
监督分类先规定一个类别表，再让模型预测表中的索引。图文配对可以提供更丰富的语义：文字可能同时包含对象、属性、动作和场景。CLIP 选择一个可扩展的任务——在一批图文中识别原有配对——把这些描述用于训练可比较的表示。



设图像编码器为 $f$，文字编码器为 $g$，归一化后得到 $v_i=f(I_i)/\|f(I_i)\|$、$u_j=g(T_j)/\|g(T_j)\|$。两个编码器分别处理各自输入，然后用点积 $S_{ij}=v_i^Tu_j$ 比较。没有先让图像生成一句话，再把两句话相互比较。



与第一部分的图像对比学习相连：两张增强视图的正关系来自同一原图；CLIP 的正关系来自资料中的图文配对。文字已经包含人的选择和表达，因此“没有固定类别标签”不等于“没有人类监督”。



训练完保留两套编码器，新图像与新文字可以进入同一比较接口。使用者能更换候选描述或建立检索库，这是方法的正面能力。它还没有提供下一词预测分布或框回归输出；若新任务需要这些输出，要另行定义模块、目标和训练。

**出处：**[CLIP（ICML 2021）](https://proceedings.mlr.press/v139/radford21a.html)
#### 图示条件与公式约定

向量条纹只表示不同模态的向量接口，条纹高度没有模型分数含义。图文配对提供已知的训练对应。


#### 这条线索的展开与后续阅读

- [CLIP 从图文对走到候选接口｜问题从哪里出现](/supplement.html?return=l3-r2-p56/0#/l3-clip-full-chain-problem/0) 本页说明
## 先确认语言指定任务的实质进展

规模提供机会，但进展还要由明确协议下的迁移结果支持。

### 正面证据：自然语言监督确实拓宽了下游接口
[独立阅读](/course/blocks/clip-positive-transfer-evidence.html)
CLIP 的论文贡献不只是一种损失公式。原工作研究了 30 多个视觉数据集上的迁移，且报告其 zero-shot 模型在 ImageNet 上达到原始 ResNet-50 的分类准确率水平，而不使用该任务的 128 万张训练样本训练专用分类器。数字与比较属于原论文协议，不能从本课程猫图实验重新推出。



这项结果支持一个明确判断：大规模图文匹配学到的表示，可以通过文字描述定义一批下游分类任务，减少逐任务重新标注和训练固定分类头的需求。语言成为任务指定接口，是对“分类表只能在训练时固定”的实质拓展。



然后再问边界才有意义：候选描述写得好不好、预训练是否覆盖概念、目标数据分布是否变化，都会影响迁移。关系定位和自由生成还要求别的输出。不是因为 CLIP 什么也没有证明而要继续研究，而是它已经打开了可用接口，研究者因此可以追问更细的空间、关系和交互能力。

**出处：**[CLIP（ICML 2021）](https://proceedings.mlr.press/v139/radford21a.html)
## 沿这个问题继续

先回看本页画面并指出输入、条件和输出，再按“CLIP：文字怎样从标签表变成学习信号 → 正面证据：自然语言监督确实拓宽了下游接口”阅读。相关实验以其已保存结果为起点，需要动手时再顺序执行 Notebook；

**出处：**[CLIP（2021）](https://arxiv.org/abs/2103.00020)