正面证据:自然语言监督确实拓宽了下游接口
课堂上下文:从哪个问题来
CLIP 选择配对识别作为学习任务。两套编码器各自处理图片和文字,配对资料指出哪些对应应更容易被选出。与图像自监督对比的联系是训练关系的来源不同;文字监督拓展语义供给,下一页才用矩阵落实损失。
CLIP 的论文贡献不只是一种损失公式。原工作研究了 30 多个视觉数据集上的迁移,且报告其 zero-shot 模型在 ImageNet 上达到原始 ResNet-50 的分类准确率水平,而不使用该任务的 128 万张训练样本训练专用分类器。数字与比较属于原论文协议,不能从本课程猫图实验重新推出。
这项结果支持一个明确判断:大规模图文匹配学到的表示,可以通过文字描述定义一批下游分类任务,减少逐任务重新标注和训练固定分类头的需求。语言成为任务指定接口,是对“分类表只能在训练时固定”的实质拓展。
然后再问边界才有意义:候选描述写得好不好、预训练是否覆盖概念、目标数据分布是否变化,都会影响迁移。关系定位和自由生成还要求别的输出。不是因为 CLIP 什么也没有证明而要继续研究,而是它已经打开了可用接口,研究者因此可以追问更细的空间、关系和交互能力。