# 从空间地址到语言请求,还缺哪一种对应 [独立阅读](/course/blocks/spatial-to-language-interface.html)**课堂上下文:从哪个问题来** 区域、像素、实例与提示已经提供可组合的空间部件。自然语言还要把对象、属性、参照物和关系连接起来;下一部分研究语言怎样成为输出、学习信号和任务条件。课后从学习路径中选一个完整实验,不必机械刷所有 Notebook。 现在已经有了三种可复用接口:共享视觉特征能供多个区域读取;区域与像素输出能描述对象位置和轮廓;点或框能指定本次关心哪一块。每一步都改变了系统收到的条件与需要交付的答案。 “框住左边杯子”把位置条件直接编码成坐标;“找到书左边的红杯”则要求系统将对象、属性、参照物和空间关系一起解释。文本并不是另一种坐标格式:同一个词可以对应多个对象,一段关系还可能指向并未直接被颜色词修饰的目标。 下一部分因此不是换一个更大模型继续同一输出,而是研究语言的几种角色:作为描述输出、作为图文配对学习信号、作为当前问题或指代条件。已有区域表示、mask 与分类能力成为可组合的部件,新训练要建立它们与语言的对应。 课后可沿自己的科研问题选择一条具体路径:若要测面积,先完成像素输出与指标;若要逐个操作对象,加入实例身份;若要按自然语言选择对象,再追踪语言条件如何进入视觉判断。主讲三部分的连接就落在这些输入输出关系上。 图内标签与数值:Lecture 03 课堂图解 P48;区域 + 轮廓 + 对象身份;“书左边的杯子”;文字条件;视觉区域 × 文字条件;需要学习两者的对应;下一步:描述、匹配、指代、问答;区域表示提供空间接口;语言再指定当前需要哪一个对象、哪一项信息。 空间特征、对象身份与提示接口汇合,再引出语言指定。 查看对应图解状态 - 区域 + 轮廓 + 对象身份 - “书左边的杯子” - 文字条件 - 视觉区域 × 文字条件 - 需要学习两者的对应 - 下一步:描述、匹配、指代、问答 - 区域表示提供空间接口;语言再指定当前需要哪一个对象、哪一项信息。空间特征、对象身份与提示接口汇合,再引出语言指定。 [查看对应图解状态](/#/l3-r2-p48/0)[查看完整图解](/#/l3-r2-p48/0) ## 继续阅读与实验