## 算出最优平均值，再检查它是不是可能样本

## 解释、算例与证据

# P68 · 下一讲：怎样学习可能性，并产生一个样本？

Caption 已经展示了以图像为条件生成文字。接下来把问题推进到更多输出：训练怎样学习条件下的多种可能，使用时怎样产生其中一个样本？第四讲将比较生成路线；本讲的多解算例提供共同起点。



图内标签与数值：同一条件，可以有多种合理结果；学习可能性；产生一个样本；x ∼ pθ(x | c)；第四讲的比较入口；GAN；VAE；Diffusion；自回归；图像　·　文字　·　视频　·　3D；逼真，是否意味着理解了规律？

同条件的三幅红杯图，连接学习可能性和产生样本两个问题；下方只列第四讲四类方法入口。

- 同一条件，可以有多种合理结果
- 学习可能性
- 产生一个样本
- x ∼ pθ(x | c)
- 第四讲的比较入口
- GAN
- VAE
- Diffusion
- 自回归
- 图像 · 文字 · 视频 · 3D
- 逼真，是否意味着理解了规律？同条件的三幅红杯图，连接学习可能性和产生样本两个问题；下方只列第四讲四类方法入口。 [查看对应图解状态](/#/l3-r2-p68/0)[查看完整图解](/course/figures/l3-r2-p68-0.html)

## 课堂讲述

第四讲会比较 GAN、VAE、Diffusion 等路线，也会把已经见过的自回归生成放进同一张问题图。它们不是严格的前后替代史，关键是训练信号、表示方式和产生样本的过程各有什么不同。
图像、文字、视频和三维数据又提出不同要求：文字有离散单位，视频要处理时间关系，三维还要考虑空间和多视角的一致性。这些会在生成问题中逐步进入，不在今天再开启四个专题。Transformer 则是一类可用的网络架构，不等于其中任何一种生成目标。
今天先带走三项判断：看清训练答案从哪里来；看清新任务需要保留和读取什么；看清语言加入以后，还需要建立什么对应。下一讲再问：结果看起来逼真，究竟说明模型掌握了什么规律？


### 一个可算的多解例子：最小均方误差为何给出不存在的结果
[独立阅读](/course/blocks/conditional-mean-is-not-sample.html)
给定同一条件 $c$，真实结果 $X$ 等概率取 $-1$ 或 $+1$。若模型只能给一个确定数 $a$，并最小化平均平方误差，



$\mathbb E[(X-a)^2\mid c]=\tfrac12(-1-a)^2+\tfrac12(1-a)^2=1+a^2.$



最优值是 $a=0$，误差为 1；但真实分布从不产生 0。模型给出了最好的条件均值，却没有给出一个真实可能样本。对应图像的直观例子是杯子可能在左或右，逐像素平均可能出现模糊或重影，而不是某一次合理摆放。



再设生成器正确地随机输出 $-1$ 或 $+1$，与一份独立抽出的真值比较，二者一半相同、一半差 2，期望平方误差是 $0.5\times0+0.5\times4=2$。生成器符合真实分布，却在这种独立配对 MSE 上比输出 0 更差。这说明评价没有衡量我们真正要求的对象。



因此生成评价至少拆开条件满足、样本合理和多样性覆盖。逼真但总输出同一种可能会漏掉模式；很多变化但不满足红色条件也失败。这个小算例只解释问题结构，不替任何生成算法背书，完整训练和采样方法留第四讲。


#### 图示条件与公式约定

保留四种方法名作为第四讲比较入口，不引出具体生成算法；文字生成已经在 caption 中出现。


#### 这条线索的展开与后续阅读

- [架构、目标与解码必须分开｜什么结论还不能推出](/supplement.html?return=l3-r2-p68/0#/l3-architecture-objective-decoding-boundary/0) 第五讲预备阅读
- [什么训练信号能教会模型生成？](/supplement.html?return=l3-r2-p68/0#/l3-generation-signals/0) 第四讲预备阅读
- [caption 已经生成文本，第四讲仍有新问题｜怎样检查这项解释](/supplement.html?return=l3-r2-p68/0#/l3-generation-bridge-thick-evidence/0) 第四讲预备阅读
- [caption 已经生成文本，第四讲仍有新问题｜什么结论还不能推出](/supplement.html?return=l3-r2-p68/0#/l3-generation-bridge-thick-boundary/0) 第四讲预备阅读
- [换成文本、视频与 3D，还要保持什么？](/supplement.html?return=l3-r2-p68/0#/l3-generation-modalities/0) 第四讲预备阅读
## 带着三个层次进入后续课程

同一指标可能错量所需目标；后续课程据此区分怎样学习分布、怎样计算预测和怎样产生样本。

### 后续阅读：学习目标、模型架构和采样方式分别是什么
[独立阅读](/course/blocks/generation-following-course-map.html)
第三讲先带走三件事：训练答案从哪里来，任务输出需要保留与读取什么，语言加入后还需建立什么对应。第四讲把问题转为“模型怎样学习一组可能结果，并从中产生一个样本”。



GAN 通过判别反馈组织生成学习；VAE 用潜变量概率模型和可采样先验连接编码与生成；扩散从构造的破坏过程学习恢复相关预测。自回归已在 caption 中出现，用一连串条件预测组织生成。它们是后续比较入口，不在本页展开完整算法，也不是按课堂顺序互相淘汰的历史。



还要分清三种层次。网络架构规定一次预测怎样计算；训练目标规定参数依据什么反馈更新；采样或解码规定怎样使用已学预测产生结果。Transformer 是架构名称，不能直接等同于某种生成目标。更详细的 RNN、attention、Transformer 留第五讲；扩展定律与训练系统留第六讲；近似索引和检索工程留第八讲。



深读时可以沿原厚材料的生成信号、不同模态与解码算例继续，但先完成第三讲的接口理解即可。视频的时间连续和三维的多视角一致性在第四讲继续，不把它们变成第三讲末尾四个新的主讲专题。

**出处：**[Coding with AI 课程大纲](https://codingai.pages.dev/)
## 选读：比较局部选择与完整路径概率

Caption 已经使用逐词生成；这段保留为第四讲生成与第七讲搜索的预备阅读。

### 选读：局部最高概率为何不保证整句最高概率
[独立阅读](/course/blocks/caption-decoding-later.html)
这段作为第四讲生成和第七讲搜索的预备阅读；第三讲只需知道推理会接续自己的输出。令首词 A/B 概率为 0.6/0.4；A 后 X/Y 为 0.51/0.49；B 后 X/Y 为 0.9/0.1；下一步都以概率 1 输出 EOS。每层出边和为 1。



完整路径 AX、AY、BX、BY 的概率分别为 0.306、0.294、0.360、0.040。greedy 首先取 A，再取 X，得到 0.306；宽度 2 的 beam 首步保留 A/B，再展开并排序，能保留最终的 BX=0.36。这个可算小树解释局部选择与完整路径概率的差别。



有限 beam 仍可能在更大树里提前删掉最优前缀；更高模型概率也不保证更符合图像。如果模型把蓝杯误识成红杯，搜索更充分可能只是更坚定地输出错误描述。必须区分视觉建模错误、概率预测错误和搜索错误。



当前 LAB13 的实际模型中 greedy 与 beam=3 均为 100% 整句匹配，没有显示 beam 的经验优势。其热身代码采用另一棵归一化概率树，greedy=AZ、概率 0.3025，beam=BY、概率 0.36；两棵树各自定义自洽，不能把一棵树的首步概率与另一棵树的结果混用。


### 沿着图解追问

以下是备课用的模拟师生对话，不是课堂实录。

**学生：**Caption 都生成文字了，第四讲新增什么？

**教师：**今天用生成接口完成视觉任务；下一讲研究分布如何学到、不同训练反馈如何组织，以及怎样采样。这是研究焦点的推进，不是第一次出现生成。

## 沿这个问题继续

回到 ±1 多解算例，分别说清“预测平均值”和“产生一个可能样本”的目标。带着这个区别进入第四讲，再比较不同生成方法。


#### 按问题回查的讲解与短练习（1）

#### 到后续课程继续（1）
**出处：**[课程大纲](https://codingai.pages.dev/)