DCC:分别认识物体和词语,为什么还不会组合描述
想象视觉分类器已会识别一种零件 K,文字语料也出现过“零件 K”,但图像描述训练集从没有 K 的配对句子。两个模块分别有知识,不等于联合系统已经知道在什么视觉条件下、怎样把 K 放进一条描述。
DCC 将这个缺口明确为研究设定:某对象不在配对图像—句子训练资料里,却可以出现在独立类别图像和未配对文本中。方法利用这些外部知识并在语义相近概念间迁移,使描述模型能够提及配对训练中缺席的对象。论文在 MSCOCO 上做经验评价,也展示无配对描述的 ImageNet 类别例子。这是“组合与迁移需要额外机制”的正面案例,而不是宣称从所有数据中都没见过对象。
网页零件 K 是课程自定例子,不是原论文类别或逐字输出。它帮助拆开三个来源:视觉证据教“它长什么样”,文字语料教“这个词怎样使用”,配对数据或迁移机制教“在什么画面里应该说它”。若只在两端各测一次准确率,就没有直接检验第三项。
这也预告 P64 的问题。投影层让视觉向量在维度上接得上语言模型,只解决接口的形状;根据视觉条件正确使用已有词语,还需要训练建立联合使用关系。