Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言图像怎样约束一句新生成的描述?

找出物体与词语之间尚未学会的使用关系

解释、算例与证据

P52 · 认识一个物体,为什么未必会把它说出来?

本页的缺口发生在“知识如何共同使用”:视觉认识某物体、文字存在对应词,并不自动提供描述时的连接规则。DCC 的新颖对象限定在配对描述资料,而非所有数据。课程零件 K 是解释用例,理解这一限定后再回看 LLaVA 的接口学习。

课程构造:视觉类别“零件 K”已见,配对描述中未见类别:零件 K文字材料“零件 K 安装在支架上。”“工人检查了零件 K。”这个词已出现在文字里配对描述训练图像 ↔ 句子已有其他对象的配对缺少零件 K 的配对把两边的知识组合成描述DCC 的问题:在配对描述中未见,仍能否说出?DCC(CVPR 2016)研究设定的教学转写;零件 K 不是原论文样本或原论文输出。

独立的零件类别图像、包含零件词的文字语料与缺少该类别的配对描述训练集,组成DCC要解决的组合缺口。

  • 课程构造:视觉类别“零件 K”已见,配对描述中未见
  • 类别:零件 K
  • 文字材料
  • “零件 K 安装在支架上。”
  • “工人检查了零件 K。”
  • 这个词已出现在文字里
  • 配对描述训练
  • 图像 ↔ 句子
  • 已有其他对象的配对
  • 缺少零件 K 的配对
  • 把两边的知识组合成描述
  • DCC 的问题:在配对描述中未见,仍能否说出?
  • DCC(CVPR 2016)研究设定的教学转写;零件 K 不是原论文样本或原论文输出。
独立的零件类别图像、包含零件词的文字语料与缺少该类别的配对描述训练集,组成DCC要解决的组合缺口。 查看对应图解状态
查看完整图解

课堂讲述

DCC 问了一个很有意思的问题:视觉端可能已经认识某类物体,语言材料里也存在这个词,但描述系统没有见过它的图文配对,能否把两种知识组合起来? 这里的新颖不是“世界上从未出现过这个物体”,而是相关组合没有出现在配对描述训练里。研究把独立的视觉知识、文字知识和图文组合分开,才有办法检查连接能力。 这对我们很重要。两个组件分别掌握了一些知识,不等于接到一起就已经会共同使用。我们后面看到视觉编码器接入语言模型,也要问同样的问题:接口的形状对上了,什么关系还需要数据与训练去建立?

DCC:分别认识物体和词语,为什么还不会组合描述

独立阅读

想象视觉分类器已会识别一种零件 K,文字语料也出现过“零件 K”,但图像描述训练集从没有 K 的配对句子。两个模块分别有知识,不等于联合系统已经知道在什么视觉条件下、怎样把 K 放进一条描述。

DCC 将这个缺口明确为研究设定:某对象不在配对图像—句子训练资料里,却可以出现在独立类别图像和未配对文本中。方法利用这些外部知识并在语义相近概念间迁移,使描述模型能够提及配对训练中缺席的对象。论文在 MSCOCO 上做经验评价,也展示无配对描述的 ImageNet 类别例子。这是“组合与迁移需要额外机制”的正面案例,而不是宣称从所有数据中都没见过对象。

网页零件 K 是课程自定例子,不是原论文类别或逐字输出。它帮助拆开三个来源:视觉证据教“它长什么样”,文字语料教“这个词怎样使用”,配对数据或迁移机制教“在什么画面里应该说它”。若只在两端各测一次准确率,就没有直接检验第三项。

这也预告 P64 的问题。投影层让视觉向量在维度上接得上语言模型,只解决接口的形状;根据视觉条件正确使用已有词语,还需要训练建立联合使用关系。

沿着图解追问

以下是备课用的模拟师生对话,不是课堂实录。

学生:既然分类器认识 K,把分类结果接进句子就行吗?

教师:这是可用基线,但还要决定词形、位置和与其他对象的关系。DCC 的问题是怎样利用独立视觉和文字知识填补配对数据缺口。

沿这个问题继续

先区分“认识物体”“有对应词语”和“能组合成描述”三件事。读 DCC 对新颖对象的限定,再与 P64 的视觉—语言接口学习比较。

图示条件与公式约定

图中的零件 K 是课程自己的概念例子;不是 DCC 原始实验类别,也不是原论文逐字生成结果。DCC 处理相关物体不在配对图文训练数据中的设定,但可以使用未配对的类别图像和文字语料。