Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言一个条件怎样容纳多种合理结果?

一句描述限定一组可能图像,为什么需要生成问题

独立阅读
课堂上下文:从哪个问题来

画面刻意展示同一句条件对应多个合理图像。三幅红杯强调多样性,蓝杯强调条件约束;这些是语义例子,并非单变量受控比较。下方的 ±1 算例解释为什么一个最优平均值仍可能不是合理样本,让第四讲的问题有具体起点。

“红色杯子放在木桌上”指定了颜色、对象和支撑关系,却没有唯一指定杯型、位置、光照、视角和木纹。P67 三幅红杯都可能满足条件,蓝杯是颜色条件的反例。这些是既有独立生成的语义场景,适合展示多解性,不能当作只改颜色的受控实验。

如果目标是从图库找一张,检索已经有明确输出;若要求产生一张新图,就需要模型定义怎样把条件和可变化因素转为像素或其他图像表示。CLIP 的相似度能帮助比较候选,却没有单独提供生成新像素的过程。

MAE 提供“已见部分约束未知部分”的重建任务,也不因此自动变成文生图系统。它的输入、目标和训练资料与文本条件采样并不相同。相同的网络模块可以被复用,但新任务必须说明如何学习和使用。

同时,caption 已经在生成文字。第四讲的新增不是第一次遇到生成,而是把条件分布、合理多样性、学习反馈和采样过程放到中心。先区分什么由条件固定、什么仍可变化,才有办法讨论多种路线各自怎样学习这些可能性。

条件:红色杯子放在木桌上合理图像 1合理图像 2合理图像 3不满足:蓝杯检索已有图像从已保存的候选中选择生成新图像学习条件下的可能性,再产生样本已有 ImageGen 语义示例,独立生成用于展示多解性;不是受控模型比较。Caption 已在生成文字。

三幅红杯都是可接受的语义例子;蓝杯违反颜色条件。 查看对应图解状态

  • 条件:红色杯子放在木桌上
  • 合理图像 1
  • 合理图像 2
  • 合理图像 3
  • 不满足:蓝杯
  • 检索已有图像
  • 从已保存的候选中选择
  • 生成新图像
  • 学习条件下的可能性,再产生样本
  • 已有 ImageGen 语义示例,独立生成用于展示多解性;不是受控模型比较。Caption 已在生成文字。
三幅红杯都是可接受的语义例子;蓝杯违反颜色条件。 查看对应图解状态
查看完整图解

继续阅读与实验