Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言一个条件怎样容纳多种合理结果?

先区分条件固定什么,还允许什么变化

解释、算例与证据

P67 · 同一句描述,为什么可以有很多张正确图像?

画面刻意展示同一句条件对应多个合理图像。三幅红杯强调多样性,蓝杯强调条件约束;这些是语义例子,并非单变量受控比较。下方的 ±1 算例解释为什么一个最优平均值仍可能不是合理样本,让第四讲的问题有具体起点。

条件:红色杯子放在木桌上合理图像 1合理图像 2合理图像 3不满足:蓝杯检索已有图像从已保存的候选中选择生成新图像学习条件下的可能性,再产生样本已有 ImageGen 语义示例,独立生成用于展示多解性;不是受控模型比较。Caption 已在生成文字。

同一句红色杯子木桌条件对应三幅不同红杯场景与一幅蓝杯反例;比较检索已有图与生成新样本。

  • 条件:红色杯子放在木桌上
  • 合理图像 1
  • 合理图像 2
  • 合理图像 3
  • 不满足:蓝杯
  • 检索已有图像
  • 从已保存的候选中选择
  • 生成新图像
  • 学习条件下的可能性,再产生样本
  • 已有 ImageGen 语义示例,独立生成用于展示多解性;不是受控模型比较。Caption 已在生成文字。
同一句红色杯子木桌条件对应三幅不同红杯场景与一幅蓝杯反例;比较检索已有图与生成新样本。 查看对应图解状态
查看完整图解

课堂讲述

现在只给一句话:红色杯子放在木桌上。它可以对应很多合理图像,杯子的形状、位置、光线和桌面纹理都可能不同。我们不只是想从已有图片中找一张,还希望根据条件产生新的样本。 这与整图匹配不是同一项工作。匹配函数告诉我们哪些内容更相配,却不直接告诉我们怎样产生图像。MAE 根据可见内容预测缺失部分,也不自动给出一个完整的文生图系统。 同时不要忘了,图像描述和语言模型已经在生成文字。第四讲不是第一次听到“生成”,而是把这个问题系统展开:一个条件下有多种可能,模型怎样学习它们,又怎样从中产生一个结果?

一句描述限定一组可能图像,为什么需要生成问题

独立阅读

“红色杯子放在木桌上”指定了颜色、对象和支撑关系,却没有唯一指定杯型、位置、光照、视角和木纹。P67 三幅红杯都可能满足条件,蓝杯是颜色条件的反例。这些是既有独立生成的语义场景,适合展示多解性,不能当作只改颜色的受控实验。

如果目标是从图库找一张,检索已经有明确输出;若要求产生一张新图,就需要模型定义怎样把条件和可变化因素转为像素或其他图像表示。CLIP 的相似度能帮助比较候选,却没有单独提供生成新像素的过程。

MAE 提供“已见部分约束未知部分”的重建任务,也不因此自动变成文生图系统。它的输入、目标和训练资料与文本条件采样并不相同。相同的网络模块可以被复用,但新任务必须说明如何学习和使用。

同时,caption 已经在生成文字。第四讲的新增不是第一次遇到生成,而是把条件分布、合理多样性、学习反馈和采样过程放到中心。先区分什么由条件固定、什么仍可变化,才有办法讨论多种路线各自怎样学习这些可能性。

图示条件与公式约定

复用既有三幅红杯和一幅蓝杯 ImageGen 场景,已逐幅查看。它们是独立生成的语义例子,适合展示多解性,不适合作为只改颜色的受控实验。

这条线索的展开与后续阅读

视觉与语言一个条件怎样容纳多种合理结果?

算出最优平均值,再检查它是不是可能样本

多解性要求区分预测一个平均值与产生一个可能结果;用两点分布核算这种差别。

一个可算的多解例子:最小均方误差为何给出不存在的结果

独立阅读

给定同一条件 cc,真实结果 XX 等概率取 −1-1 或 +1+1。若模型只能给一个确定数 aa,并最小化平均平方误差,

E[(X−a)2∣c]=12(−1−a)2+12(1−a)2=1+a2.\mathbb E[(X-a)^2\mid c]=\tfrac12(-1-a)^2+\tfrac12(1-a)^2=1+a^2.

最优值是 a=0a=0,误差为 1;但真实分布从不产生 0。模型给出了最好的条件均值,却没有给出一个真实可能样本。对应图像的直观例子是杯子可能在左或右,逐像素平均可能出现模糊或重影,而不是某一次合理摆放。

再设生成器正确地随机输出 −1-1 或 +1+1,与一份独立抽出的真值比较,二者一半相同、一半差 2,期望平方误差是 0.5×0+0.5×4=20.5\times0+0.5\times4=2。生成器符合真实分布,却在这种独立配对 MSE 上比输出 0 更差。这说明评价没有衡量我们真正要求的对象。

因此生成评价至少拆开条件满足、样本合理和多样性覆盖。逼真但总输出同一种可能会漏掉模式;很多变化但不满足红色条件也失败。这个小算例只解释问题结构,不替任何生成算法背书,完整训练和采样方法留第四讲。

沿着图解追问

以下是备课用的模拟师生对话,不是课堂实录。

学生:条件说清楚后为什么还要随机性?

教师:因为它通常只限定一组结果。杯型和光照没有被完全指定,合理系统应能表达这些可能性,而不是只能给平均像素。

沿这个问题继续

先比较红杯图像共享的条件与各自变化,再计算 ±1 等概率例子的均方误差最优解。解释为什么平均值可以最优,却不是分布中可能出现的样本。

到后续课程继续(1)

出处:课程大纲