在同一图上分开读实体和关系。三个名词可以各自对应框，“拿着”却必须绑定正确人物与球。局部区域使语言有可以指向的对象，但关系不由找到两个对象自动获得。图上的人工标注说明任务，已保存的像素规则实验则给出可检查的输出链。
红衣人、蓝衣人与球各有局部框，句中的实体连接区域，拿着连接人物与球的关系。
整图和句子匹配，可以告诉我们它们总体相关，但句子里每个片段对应什么，还需要更细的组织。区域—语言对齐把注意力转向这些局部关系。 “红衣人”不是一整张图，“球”也不是；“拿着”更不是单独一个物体标签，它描述对象之间的关系。一个系统即使找到了人物和球，也可能把动作关系说错。 在这个位置，第二部分的区域表示就有用了：已经能够提取局部视觉内容，语言端又提供了可对齐的片段。新的训练任务要把它们接起来，而不是把整图相似度当成所有局部关系都已解决的证据。
整图相似度可以说“这幅画面与两人持球有关”，却没有说明“红衣人”对应哪块像素、“球”是哪一个区域。把第二部分学过的区域表示取出来，句中的片段就有了可以对齐的视觉对象。
P53 中，红衣人、蓝衣人和球分别有候选框；“红衣人”和“球”可以各自指向区域。但“拿着”不是第四种独立物体，它描述两个实体之间的关系。即使候选框都正确，如果把关系连到另一位人物，整句依然错误。实体识别和关系绑定因而要分别检查。
Karpathy 与 Li Fei-Fei 的区域—语言对齐工作从图像与句子资料学习局部跨模态对应，并进一步生成区域描述；论文在图文检索及区域描述上给出实证。其价值是让局部对应成为可学习、可复用的对象，而不是把整图压成一个类别之后才补语言。课堂图上的框和关系线是人工标注，不冒充该论文或本课程模型的预测。
做一个最小自查：把句子改为“蓝衣人在红衣人旁边”，两个实体框可能保持不变，关系应随语句变化；改为“拿着球的人”，输出目标变成受关系约束的人物。区域表示提供候选，语言条件决定怎样选择，二者缺一不可。
先回看本页画面并指出输入、条件和输出，再按“从整图相关到局部对应：名词与关系不是同一层信息”阅读。相关实验以其已保存结果为起点，需要动手时再顺序执行 Notebook；
当前实际人物场景不含桌子，按本图的红衣人、蓝衣人、球组织局部框。框由课程手工标注，关系弧线说明目标而不声称模型已预测。