# DCC：分别认识物体和词语，为什么还不会组合描述
[独立阅读](/course/blocks/caption-compositional-gap.html)**课堂上下文：从哪个问题来**
本页的缺口发生在“知识如何共同使用”：视觉认识某物体、文字存在对应词，并不自动提供描述时的连接规则。DCC 的新颖对象限定在配对描述资料，而非所有数据。课程零件 K 是解释用例，理解这一限定后再回看 LLaVA 的接口学习。


想象视觉分类器已会识别一种零件 K，文字语料也出现过“零件 K”，但图像描述训练集从没有 K 的配对句子。两个模块分别有知识，不等于联合系统已经知道在什么视觉条件下、怎样把 K 放进一条描述。



DCC 将这个缺口明确为研究设定：某对象不在配对图像—句子训练资料里，却可以出现在独立类别图像和未配对文本中。方法利用这些外部知识并在语义相近概念间迁移，使描述模型能够提及配对训练中缺席的对象。论文在 MSCOCO 上做经验评价，也展示无配对描述的 ImageNet 类别例子。这是“组合与迁移需要额外机制”的正面案例，而不是宣称从所有数据中都没见过对象。



网页零件 K 是课程自定例子，不是原论文类别或逐字输出。它帮助拆开三个来源：视觉证据教“它长什么样”，文字语料教“这个词怎样使用”，配对数据或迁移机制教“在什么画面里应该说它”。若只在两端各测一次准确率，就没有直接检验第三项。



这也预告 P64 的问题。投影层让视觉向量在维度上接得上语言模型，只解决接口的形状；根据视觉条件正确使用已有词语，还需要训练建立联合使用关系。



图内标签与数值：课程构造：视觉类别“零件 K”已见，配对描述中未见；类别：零件 K；文字材料；“零件 K 安装在支架上。”；“工人检查了零件 K。”；这个词已出现在文字里；配对描述训练；图像 ↔ 句子；已有其他对象的配对；缺少零件 K 的配对；把两边的知识组合成描述；DCC 的问题：在配对描述中未见，仍能否说出？；DCC（CVPR 2016）研究设定的教学转写；零件 K 不是原论文样本或原论文输出。

三份材料分别提供视觉知识、词语知识与配对缺口。 查看对应图解状态

- 课程构造：视觉类别“零件 K”已见，配对描述中未见
- 类别：零件 K
- 文字材料
- “零件 K 安装在支架上。”
- “工人检查了零件 K。”
- 这个词已出现在文字里
- 配对描述训练
- 图像 ↔ 句子
- 已有其他对象的配对
- 缺少零件 K 的配对
- 把两边的知识组合成描述
- DCC 的问题：在配对描述中未见，仍能否说出？
- DCC（CVPR 2016）研究设定的教学转写；零件 K 不是原论文样本或原论文输出。三份材料分别提供视觉知识、词语知识与配对缺口。 [查看对应图解状态](/#/l3-r2-p52/0)[查看完整图解](/#/l3-r2-p52/0)
**出处：**[Deep Compositional Captioning（2016）](https://openaccess.thecvf.com/content_cvpr_2016/html/Hendricks_Deep_Compositional_Captioning_CVPR_2016_paper.html)
## 继续阅读与实验