CLIP：文字怎样从标签表变成学习信号

监督分类先规定一个类别表，再让模型预测表中的索引。图文配对可以提供更丰富的语义：文字可能同时包含对象、属性、动作和场景。CLIP 选择一个可扩展的任务——在一批图文中识别原有配对——把这些描述用于训练可比较的表示。

设图像编码器为 $f$，文字编码器为 $g$，归一化后得到 $v_i=f(I_i)/\|f(I_i)\|$、$u_j=g(T_j)/\|g(T_j)\|$。两个编码器分别处理各自输入，然后用点积 $S_{ij}=v_i^Tu_j$ 比较。没有先让图像生成一句话，再把两句话相互比较。

与第一部分的图像对比学习相连：两张增强视图的正关系来自同一原图；CLIP 的正关系来自资料中的图文配对。文字已经包含人的选择和表达，因此“没有固定类别标签”不等于“没有人类监督”。

训练完保留两套编码器，新图像与新文字可以进入同一比较接口。使用者能更换候选描述或建立检索库，这是方法的正面能力。它还没有提供下一词预测分布或框回归输出；若新任务需要这些输出，要另行定义模块、目标和训练。