Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例带着空间接口,怎样进入实验与语言任务?

从空间地址到语言请求,还缺哪一种对应

独立阅读
课堂上下文:从哪个问题来

区域、像素、实例与提示已经提供可组合的空间部件。自然语言还要把对象、属性、参照物和关系连接起来;下一部分研究语言怎样成为输出、学习信号和任务条件。课后从学习路径中选一个完整实验,不必机械刷所有 Notebook。

现在已经有了三种可复用接口:共享视觉特征能供多个区域读取;区域与像素输出能描述对象位置和轮廓;点或框能指定本次关心哪一块。每一步都改变了系统收到的条件与需要交付的答案。

“框住左边杯子”把位置条件直接编码成坐标;“找到书左边的红杯”则要求系统将对象、属性、参照物和空间关系一起解释。文本并不是另一种坐标格式:同一个词可以对应多个对象,一段关系还可能指向并未直接被颜色词修饰的目标。

下一部分因此不是换一个更大模型继续同一输出,而是研究语言的几种角色:作为描述输出、作为图文配对学习信号、作为当前问题或指代条件。已有区域表示、mask 与分类能力成为可组合的部件,新训练要建立它们与语言的对应。

课后可沿自己的科研问题选择一条具体路径:若要测面积,先完成像素输出与指标;若要逐个操作对象,加入实例身份;若要按自然语言选择对象,再追踪语言条件如何进入视觉判断。主讲三部分的连接就落在这些输入输出关系上。

Lecture 03 课堂图解 P48区域 + 轮廓 + 对象身份“书左边的杯子”文字条件视觉区域 × 文字条件需要学习两者的对应下一步:描述、匹配、指代、问答区域表示提供空间接口;语言再指定当前需要哪一个对象、哪一项信息。

空间特征、对象身份与提示接口汇合,再引出语言指定。 查看对应图解状态

  • 区域 + 轮廓 + 对象身份
  • “书左边的杯子”
  • 文字条件
  • 视觉区域 × 文字条件
  • 需要学习两者的对应
  • 下一步:描述、匹配、指代、问答
  • 区域表示提供空间接口;语言再指定当前需要哪一个对象、哪一项信息。
空间特征、对象身份与提示接口汇合,再引出语言指定。 查看对应图解状态
查看完整图解

继续阅读与实验