Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言规模化图文监督带来了哪些可验证的进展?

从网页文字到训练对应:数据扩大了什么

独立阅读
课堂上下文:从哪个问题来

大规模图文监督的机会来自配对供给,信号质量又取决于描述、选择和筛选。原始 CLIP、LAION 和 OpenCLIP 分属模型研究、数据资源与实现/模型系列,不能互当别名。正面的迁移证据与数据边界一起读,才能理解这种路线为何有效、又在哪些地方需要下一步工作。

网页配图旁的文字可能准确描述对象,也可能只讨论文章主题。图片中有两个杯子,文字却只提其中一个;图文仍相关,却没有提供完整场景标注。这种监督更便于规模化收集,但目标覆盖范围由内容生产与筛选决定。

原始 CLIP 工作收集了 4 亿图文对,并在 30 多个既有视觉数据集上研究迁移。LAION-400M 是后来的开放图文数据资源,包含经 CLIP 过滤的图文对;它不是原始 CLIP 的训练集。OpenCLIP 又是另一层的实现和模型系列,具体权重使用什么数据要逐项核对。

这里存在一个积极反馈:已有模型可以帮助整理更多配对,开放的数据和实现使更多研究者能训练与比较新模型。但筛选器偏好的对应也可能进入数据分布。数量增加提供更多学习机会;对象、语言、关系、质量和去重方式决定这些机会覆盖什么。

回到第一部分的标签供给,人的工作并没有消失,只是有的从逐图填写固定类别,转向写内容、选择资料、定义任务和评价。研究报告需要同时交代模型、数据与接口;单说“用了 CLIP/LAION”还不足以重建学习条件。

“两个人站在室内。”收集与筛选保留哪些配对?图文训练配对关系提供目标筛选模型影响材料范围CLIP模型与训练方法原始数据由原工作收集LAION公开图文数据资源不是原始 CLIP 训练集OpenCLIP开源实现与模型不同权重有不同数据配方人工内容、数据处理与筛选都参与信号形成;无额外逐图类别标签并不等于无人类知识。

同一名称不能同时代替模型、数据资源和实现;学习信号需要追溯来源。 查看对应图解状态

  • “两个人站在室内。”
  • 收集与筛选
  • 保留哪些配对?
  • 图文训练
  • 配对关系提供目标
  • 筛选模型影响材料范围
  • CLIP
  • 模型与训练方法
  • 原始数据由原工作收集
  • LAION
  • 公开图文数据资源
  • 不是原始 CLIP 训练集
  • OpenCLIP
  • 开源实现与模型
  • 不同权重有不同数据配方
  • 人工内容、数据处理与筛选都参与信号形成;无额外逐图类别标签并不等于无人类知识。
同一名称不能同时代替模型、数据资源和实现;学习信号需要追溯来源。 查看对应图解状态
查看完整图解

继续阅读与实验