一句描述限定一组可能图像,为什么需要生成问题
“红色杯子放在木桌上”指定了颜色、对象和支撑关系,却没有唯一指定杯型、位置、光照、视角和木纹。P67 三幅红杯都可能满足条件,蓝杯是颜色条件的反例。这些是既有独立生成的语义场景,适合展示多解性,不能当作只改颜色的受控实验。
如果目标是从图库找一张,检索已经有明确输出;若要求产生一张新图,就需要模型定义怎样把条件和可变化因素转为像素或其他图像表示。CLIP 的相似度能帮助比较候选,却没有单独提供生成新像素的过程。
MAE 提供“已见部分约束未知部分”的重建任务,也不因此自动变成文生图系统。它的输入、目标和训练资料与文本条件采样并不相同。相同的网络模块可以被复用,但新任务必须说明如何学习和使用。
同时,caption 已经在生成文字。第四讲的新增不是第一次遇到生成,而是把条件分布、合理多样性、学习反馈和采样过程放到中心。先区分什么由条件固定、什么仍可变化,才有办法讨论多种路线各自怎样学习这些可能性。