## 找出物体与词语之间尚未学会的使用关系 ## 解释、算例与证据 # P52 · 认识一个物体，为什么未必会把它说出来？ 本页的缺口发生在“知识如何共同使用”：视觉认识某物体、文字存在对应词，并不自动提供描述时的连接规则。DCC 的新颖对象限定在配对描述资料，而非所有数据。课程零件 K 是解释用例，理解这一限定后再回看 LLaVA 的接口学习。 图内标签与数值：课程构造：视觉类别“零件 K”已见，配对描述中未见；类别：零件 K；文字材料；“零件 K 安装在支架上。”；“工人检查了零件 K。”；这个词已出现在文字里；配对描述训练；图像 ↔ 句子；已有其他对象的配对；缺少零件 K 的配对；把两边的知识组合成描述；DCC 的问题：在配对描述中未见，仍能否说出？；DCC（CVPR 2016）研究设定的教学转写；零件 K 不是原论文样本或原论文输出。 独立的零件类别图像、包含零件词的文字语料与缺少该类别的配对描述训练集，组成DCC要解决的组合缺口。 - 课程构造：视觉类别“零件 K”已见，配对描述中未见 - 类别：零件 K - 文字材料 - “零件 K 安装在支架上。” - “工人检查了零件 K。” - 这个词已出现在文字里 - 配对描述训练 - 图像 ↔ 句子 - 已有其他对象的配对 - 缺少零件 K 的配对 - 把两边的知识组合成描述 - DCC 的问题：在配对描述中未见，仍能否说出？ - DCC（CVPR 2016）研究设定的教学转写；零件 K 不是原论文样本或原论文输出。独立的零件类别图像、包含零件词的文字语料与缺少该类别的配对描述训练集，组成DCC要解决的组合缺口。 [查看对应图解状态](/#/l3-r2-p52/0)[查看完整图解](/course/figures/l3-r2-p52-0.html) ## 课堂讲述 DCC 问了一个很有意思的问题：视觉端可能已经认识某类物体，语言材料里也存在这个词，但描述系统没有见过它的图文配对，能否把两种知识组合起来？ 这里的新颖不是“世界上从未出现过这个物体”，而是相关组合没有出现在配对描述训练里。研究把独立的视觉知识、文字知识和图文组合分开，才有办法检查连接能力。 这对我们很重要。两个组件分别掌握了一些知识，不等于接到一起就已经会共同使用。我们后面看到视觉编码器接入语言模型，也要问同样的问题：接口的形状对上了，什么关系还需要数据与训练去建立？ ### DCC：分别认识物体和词语，为什么还不会组合描述 [独立阅读](/course/blocks/caption-compositional-gap.html) 想象视觉分类器已会识别一种零件 K，文字语料也出现过“零件 K”，但图像描述训练集从没有 K 的配对句子。两个模块分别有知识，不等于联合系统已经知道在什么视觉条件下、怎样把 K 放进一条描述。 DCC 将这个缺口明确为研究设定：某对象不在配对图像—句子训练资料里，却可以出现在独立类别图像和未配对文本中。方法利用这些外部知识并在语义相近概念间迁移，使描述模型能够提及配对训练中缺席的对象。论文在 MSCOCO 上做经验评价，也展示无配对描述的 ImageNet 类别例子。这是“组合与迁移需要额外机制”的正面案例，而不是宣称从所有数据中都没见过对象。 网页零件 K 是课程自定例子，不是原论文类别或逐字输出。它帮助拆开三个来源：视觉证据教“它长什么样”，文字语料教“这个词怎样使用”，配对数据或迁移机制教“在什么画面里应该说它”。若只在两端各测一次准确率，就没有直接检验第三项。 这也预告 P64 的问题。投影层让视觉向量在维度上接得上语言模型，只解决接口的形状；根据视觉条件正确使用已有词语，还需要训练建立联合使用关系。 **出处：**[Deep Compositional Captioning（2016）](https://openaccess.thecvf.com/content_cvpr_2016/html/Hendricks_Deep_Compositional_Captioning_CVPR_2016_paper.html) ### 沿着图解追问 以下是备课用的模拟师生对话，不是课堂实录。 **学生：**既然分类器认识 K，把分类结果接进句子就行吗？ **教师：**这是可用基线，但还要决定词形、位置和与其他对象的关系。DCC 的问题是怎样利用独立视觉和文字知识填补配对数据缺口。 ## 沿这个问题继续 先区分“认识物体”“有对应词语”和“能组合成描述”三件事。读 DCC 对新颖对象的限定，再与 P64 的视觉—语言接口学习比较。 **出处：**[Deep Compositional Captioning（2016）](https://openaccess.thecvf.com/content_cvpr_2016/html/Hendricks_Deep_Compositional_Captioning_CVPR_2016_paper.html) #### 图示条件与公式约定 图中的零件 K 是课程自己的概念例子；不是 DCC 原始实验类别，也不是原论文逐字生成结果。DCC 处理相关物体不在配对图文训练数据中的设定，但可以使用未配对的类别图像和文字语料。