Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言图像怎样约束一句新生成的描述?

DCC:分别认识物体和词语,为什么还不会组合描述

独立阅读
课堂上下文:从哪个问题来

本页的缺口发生在“知识如何共同使用”:视觉认识某物体、文字存在对应词,并不自动提供描述时的连接规则。DCC 的新颖对象限定在配对描述资料,而非所有数据。课程零件 K 是解释用例,理解这一限定后再回看 LLaVA 的接口学习。

想象视觉分类器已会识别一种零件 K,文字语料也出现过“零件 K”,但图像描述训练集从没有 K 的配对句子。两个模块分别有知识,不等于联合系统已经知道在什么视觉条件下、怎样把 K 放进一条描述。

DCC 将这个缺口明确为研究设定:某对象不在配对图像—句子训练资料里,却可以出现在独立类别图像和未配对文本中。方法利用这些外部知识并在语义相近概念间迁移,使描述模型能够提及配对训练中缺席的对象。论文在 MSCOCO 上做经验评价,也展示无配对描述的 ImageNet 类别例子。这是“组合与迁移需要额外机制”的正面案例,而不是宣称从所有数据中都没见过对象。

网页零件 K 是课程自定例子,不是原论文类别或逐字输出。它帮助拆开三个来源:视觉证据教“它长什么样”,文字语料教“这个词怎样使用”,配对数据或迁移机制教“在什么画面里应该说它”。若只在两端各测一次准确率,就没有直接检验第三项。

这也预告 P64 的问题。投影层让视觉向量在维度上接得上语言模型,只解决接口的形状;根据视觉条件正确使用已有词语,还需要训练建立联合使用关系。

课程构造:视觉类别“零件 K”已见,配对描述中未见类别:零件 K文字材料“零件 K 安装在支架上。”“工人检查了零件 K。”这个词已出现在文字里配对描述训练图像 ↔ 句子已有其他对象的配对缺少零件 K 的配对把两边的知识组合成描述DCC 的问题:在配对描述中未见,仍能否说出?DCC(CVPR 2016)研究设定的教学转写;零件 K 不是原论文样本或原论文输出。

三份材料分别提供视觉知识、词语知识与配对缺口。 查看对应图解状态

  • 课程构造:视觉类别“零件 K”已见,配对描述中未见
  • 类别:零件 K
  • 文字材料
  • “零件 K 安装在支架上。”
  • “工人检查了零件 K。”
  • 这个词已出现在文字里
  • 配对描述训练
  • 图像 ↔ 句子
  • 已有其他对象的配对
  • 缺少零件 K 的配对
  • 把两边的知识组合成描述
  • DCC 的问题:在配对描述中未见,仍能否说出?
  • DCC(CVPR 2016)研究设定的教学转写;零件 K 不是原论文样本或原论文输出。
三份材料分别提供视觉知识、词语知识与配对缺口。 查看对应图解状态
查看完整图解

继续阅读与实验