CLS 03 · 视觉与语言：任务、训练与接口

CLIP 使用已配对的图像与文字，同时训练两种编码器

主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

CLIP 使用已配对的图像与文字，同时训练两种编码器。训练后，可以把“a photo of a cup”等候选描述编码成文字向量，与图像向量比较，做分类或在已有集合中检索。CLIP

这项能力来自配对学习：图像向量与文字向量本来并不天然处在可比较的坐标系。图文配对包含人的文字和数据选择，是外部学习信号；不使用固定类别标签不等于完全没有监督。

设红杯、蓝杯、书三张图分别与三段描述配对。把归一化表示记为 uᵢ 和 vⱼ，组成 Sᵢⱼ=uᵢᵀvⱼ。每一行回答“这张图配哪段文字”；每一列回答“这段文字配哪张图”。正确配对位于对角线，两种方向的分类损失一起参与训练。