CLIP 选择配对识别作为学习任务。两套编码器各自处理图片和文字，配对资料指出哪些对应应更容易被选出。与图像自监督对比的联系是训练关系的来源不同；文字监督拓展语义供给，下一页才用矩阵落实损失。
图像 Iᵢ → 图像编码器 f → 单位向量 vᵢ；配对文字 Tᵢ → 文字编码器 g → 单位向量 uᵢ。
比较 Sᵢⱼ = vᵢᵀuⱼ。已知图文配对提供训练答案；无需先生成句子。图中条纹表示接口，不是实测分数。
如果希望利用更多图文配对，不一定非要从图片预测描述中的每一个准确词语。CLIP 选择了更直接的对应任务：让配对图文的表示相互匹配。 这里我们可以复用第一部分的理解。那里比较的是同一图像产生的不同视图；这里比较的是图像与文字。训练目标仍然围绕对应关系，但文字带来了人已经组织过的语义。 两边各有编码器，并不是先把图片翻译成完整句子，再拿句子比较。编码器把它们送进可比较的表示空间。这个任务到底怎样形成监督，下一页用一个很小的批次完整走一遍。
监督分类先规定一个类别表，再让模型预测表中的索引。图文配对可以提供更丰富的语义：文字可能同时包含对象、属性、动作和场景。CLIP 选择一个可扩展的任务——在一批图文中识别原有配对——把这些描述用于训练可比较的表示。
设图像编码器为 ，文字编码器为 ，归一化后得到 、。两个编码器分别处理各自输入，然后用点积 比较。没有先让图像生成一句话，再把两句话相互比较。
与第一部分的图像对比学习相连：两张增强视图的正关系来自同一原图；CLIP 的正关系来自资料中的图文配对。文字已经包含人的选择和表达，因此“没有固定类别标签”不等于“没有人类监督”。
训练完保留两套编码器，新图像与新文字可以进入同一比较接口。使用者能更换候选描述或建立检索库，这是方法的正面能力。它还没有提供下一词预测分布或框回归输出；若新任务需要这些输出，要另行定义模块、目标和训练。
向量条纹只表示不同模态的向量接口，条纹高度没有模型分数含义。图文配对提供已知的训练对应。
规模提供机会，但进展还要由明确协议下的迁移结果支持。
CLIP 的论文贡献不只是一种损失公式。原工作研究了 30 多个视觉数据集上的迁移，且报告其 zero-shot 模型在 ImageNet 上达到原始 ResNet-50 的分类准确率水平，而不使用该任务的 128 万张训练样本训练专用分类器。数字与比较属于原论文协议，不能从本课程猫图实验重新推出。
这项结果支持一个明确判断：大规模图文匹配学到的表示，可以通过文字描述定义一批下游分类任务，减少逐任务重新标注和训练固定分类头的需求。语言成为任务指定接口，是对“分类表只能在训练时固定”的实质拓展。
然后再问边界才有意义：候选描述写得好不好、预训练是否覆盖概念、目标数据分布是否变化，都会影响迁移。关系定位和自由生成还要求别的输出。不是因为 CLIP 什么也没有证明而要继续研究，而是它已经打开了可用接口，研究者因此可以追问更细的空间、关系和交互能力。
先回看本页画面并指出输入、条件和输出，再按“CLIP：文字怎样从标签表变成学习信号 → 正面证据：自然语言监督确实拓宽了下游接口”阅读。相关实验以其已保存结果为起点，需要动手时再顺序执行 Notebook；