# 从整图相关到局部对应：名词与关系不是同一层信息
[独立阅读](/course/blocks/region-word-alignment.html)**课堂上下文：从哪个问题来**
在同一图上分开读实体和关系。三个名词可以各自对应框，“拿着”却必须绑定正确人物与球。局部区域使语言有可以指向的对象，但关系不由找到两个对象自动获得。图上的人工标注说明任务，已保存的像素规则实验则给出可检查的输出链。


整图相似度可以说“这幅画面与两人持球有关”，却没有说明“红衣人”对应哪块像素、“球”是哪一个区域。把第二部分学过的区域表示取出来，句中的片段就有了可以对齐的视觉对象。



P53 中，红衣人、蓝衣人和球分别有候选框；“红衣人”和“球”可以各自指向区域。但“拿着”不是第四种独立物体，它描述两个实体之间的关系。即使候选框都正确，如果把关系连到另一位人物，整句依然错误。实体识别和关系绑定因而要分别检查。



Karpathy 与 Li Fei-Fei 的区域—语言对齐工作从图像与句子资料学习局部跨模态对应，并进一步生成区域描述；论文在图文检索及区域描述上给出实证。其价值是让局部对应成为可学习、可复用的对象，而不是把整图压成一个类别之后才补语言。课堂图上的框和关系线是人工标注，不冒充该论文或本课程模型的预测。



做一个最小自查：把句子改为“蓝衣人在红衣人旁边”，两个实体框可能保持不变，关系应随语句变化；改为“拿着球的人”，输出目标变成受关系约束的人物。区域表示提供候选，语言条件决定怎样选择，二者缺一不可。



图内标签与数值：红衣人；拿着；球；实体：对应局部内容；关系：连接人物与球；区域表示 + 语言片段 → 学习更细的对应；教学框与关系弧线；区域对齐方法并不因此自动获得全部动作关系。

实体线连接名词与框，关系弧线连接人物和球；二者承担不同信息。 查看对应图解状态

- 红衣人
- 拿着
- 球
- 实体：对应局部内容
- 关系：连接人物与球
- 区域表示 + 语言片段 → 学习更细的对应
- 教学框与关系弧线；区域对齐方法并不因此自动获得全部动作关系。实体线连接名词与框，关系弧线连接人物和球；二者承担不同信息。 [查看对应图解状态](/#/l3-r2-p53/0)[查看完整图解](/#/l3-r2-p53/0)
**出处：**[Deep Visual-Semantic Alignments（2015）](https://arxiv.org/abs/1412.2306)
## 继续阅读与实验