## 追溯配对供给与筛选覆盖

## 解释、算例与证据

# P60 · 图文数据不是一堆没有来历的图片

大规模图文监督的机会来自配对供给，信号质量又取决于描述、选择和筛选。原始 CLIP、LAION 和 OpenCLIP 分属模型研究、数据资源与实现/模型系列，不能互当别名。正面的迁移证据与数据边界一起读，才能理解这种路线为何有效、又在哪些地方需要下一步工作。



图内标签与数值：“两个人站在室内。”；收集与筛选；保留哪些配对？；图文训练；配对关系提供目标；筛选模型影响材料范围；CLIP；模型与训练方法；原始数据由原工作收集；LAION；公开图文数据资源；不是原始 CLIP 训练集；OpenCLIP；开源实现与模型；不同权重有不同数据配方；人工内容、数据处理与筛选都参与信号形成；无额外逐图类别标签并不等于无人类知识。

原图与描述经过收集筛选进入训练；下方分别说明CLIP模型方法、LAION公开数据和OpenCLIP开源实现。

- “两个人站在室内。”
- 收集与筛选
- 保留哪些配对？
- 图文训练
- 配对关系提供目标
- 筛选模型影响材料范围
- CLIP
- 模型与训练方法
- 原始数据由原工作收集
- LAION
- 公开图文数据资源
- 不是原始 CLIP 训练集
- OpenCLIP
- 开源实现与模型
- 不同权重有不同数据配方
- 人工内容、数据处理与筛选都参与信号形成；无额外逐图类别标签并不等于无人类知识。原图与描述经过收集筛选进入训练；下方分别说明CLIP模型方法、LAION公开数据和OpenCLIP开源实现。 [查看对应图解状态](/#/l3-r2-p60/0)[查看完整图解](/course/figures/l3-r2-p60-0.html)

## 课堂讲述

语言监督的规模，依赖图文配对数据怎样获得和整理。图片旁边的文字可能是描述，也可能只说了背景或网站主题；配对质量不是天然一致的。
LAION 等公开资源使更多研究者能够研究大规模图文学习，但它不是原始 CLIP 的训练集。模型、训练数据和开源实现要分开说，不能把几个名字当同一个东西。
这也回到第一部分的监督供给问题。人不仅可能直接标答案，还可能通过内容生产、筛选与评价影响模型学到什么。数据更多扩大了机会，数据如何组织则决定这些机会里包含什么信号。理解这种条件，才不会把整个变化只归结为参数数量。


### 从网页文字到训练对应：数据扩大了什么
[独立阅读](/course/blocks/clip-supervision-supply.html)
网页配图旁的文字可能准确描述对象，也可能只讨论文章主题。图片中有两个杯子，文字却只提其中一个；图文仍相关，却没有提供完整场景标注。这种监督更便于规模化收集，但目标覆盖范围由内容生产与筛选决定。



原始 CLIP 工作收集了 4 亿图文对，并在 30 多个既有视觉数据集上研究迁移。LAION-400M 是后来的开放图文数据资源，包含经 CLIP 过滤的图文对；它不是原始 CLIP 的训练集。OpenCLIP 又是另一层的实现和模型系列，具体权重使用什么数据要逐项核对。



这里存在一个积极反馈：已有模型可以帮助整理更多配对，开放的数据和实现使更多研究者能训练与比较新模型。但筛选器偏好的对应也可能进入数据分布。数量增加提供更多学习机会；对象、语言、关系、质量和去重方式决定这些机会覆盖什么。



回到第一部分的标签供给，人的工作并没有消失，只是有的从逐图填写固定类别，转向写内容、选择资料、定义任务和评价。研究报告需要同时交代模型、数据与接口；单说“用了 CLIP/LAION”还不足以重建学习条件。

**出处：**[CLIP（ICML 2021）](https://proceedings.mlr.press/v139/radford21a.html) · [LAION-400M（2021）](https://arxiv.org/abs/2111.02114)
#### 图示条件与公式约定

原始 CLIP 的训练数据由原工作收集；LAION 是后来的公开图文数据资源，OpenCLIP 是独立的开源实现与模型系列。具体权重使用的训练数据要分别核对。


#### 这条线索的展开与后续阅读

- [网络图文扩大了信号来源，也带来选择与噪声](/supplement.html?return=l3-r2-p60/0#/l3-clip-data/0) 本页说明
## 先确认语言指定任务的实质进展

规模提供机会，但进展还要由明确协议下的迁移结果支持。

### 正面证据：自然语言监督确实拓宽了下游接口
[独立阅读](/course/blocks/clip-positive-transfer-evidence.html)
CLIP 的论文贡献不只是一种损失公式。原工作研究了 30 多个视觉数据集上的迁移，且报告其 zero-shot 模型在 ImageNet 上达到原始 ResNet-50 的分类准确率水平，而不使用该任务的 128 万张训练样本训练专用分类器。数字与比较属于原论文协议，不能从本课程猫图实验重新推出。



这项结果支持一个明确判断：大规模图文匹配学到的表示，可以通过文字描述定义一批下游分类任务，减少逐任务重新标注和训练固定分类头的需求。语言成为任务指定接口，是对“分类表只能在训练时固定”的实质拓展。



然后再问边界才有意义：候选描述写得好不好、预训练是否覆盖概念、目标数据分布是否变化，都会影响迁移。关系定位和自由生成还要求别的输出。不是因为 CLIP 什么也没有证明而要继续研究，而是它已经打开了可用接口，研究者因此可以追问更细的空间、关系和交互能力。

**出处：**[CLIP（ICML 2021）](https://proceedings.mlr.press/v139/radford21a.html)
## 沿这个问题继续

先区分原始 CLIP、LAION 与 OpenCLIP 的身份，再比较配对收集、筛选和模型训练各自改变什么。结合迁移结果，说明文字监督扩大了哪些任务接口。

**出处：**[CLIP（2021）](https://arxiv.org/abs/2103.00020) · [LAION-5B（2022）](https://arxiv.org/abs/2210.08402) · [OpenCLIP 官方实现](https://github.com/mlfoundations/open_clip)