## 平方误差为什么偏好可能模糊的平均值 固定可见条件，让隐藏值有0和1两种等可能答案，再比较三个确定预测。 ### 为什么缺失处可能被补得模糊？ [独立阅读](/course/blocks/squared-error-conditional-mean.html) 假设可见条件完全相同，而某个隐藏像素等概率为0或1。总输出0时，平均平方误差是0.5；总输出1也为0.5；输出0.5时，两种情况误差都是0.25，因此平均更小。 一般地，平方损失的最佳确定性预测是给定可见输入的条件均值。存在多种合理补全时，均值可能看起来模糊，即使模型已很好地优化这项损失。这与“完全没学到结构”不是同一个判断。 LAB 08里应把恢复的主要笔画、错误补全和误差图一起读。到第四讲再问：如果我们希望产生某一种合理样本，而不是平均多个可能，训练目标和输出过程应怎样改变？图像描述也已在生成文本，后续生成课将把条件多解作为更一般的问题。 ## 读 LAB08：重建和读出各交一份成绩 ## 解释、算例与证据 # P22 · 能补图，不等于每项任务都读得好 重建结果与表示用途分开评价，并给出真实正面研究结果和课程小模型结果各自的身份。 图内标签与数值：P22 学习表示机制图，状态 1；重建训练；预训练编码器；形状读出；能否分出零件类型？；颜色读出；红蓝是否仍可区分？；重建误差；下游任务结果；两种证据，分别测量 遮挡预训练编码器分别连接形状与颜色任务，重建误差与下游成绩明确分开。 - 重建训练 - 预训练编码器 - 形状读出 - 能否分出零件类型？ - 颜色读出 - 红蓝是否仍可区分？ - 重建误差 - 下游任务结果 - 两种证据，分别测量遮挡预训练编码器分别连接形状与颜色任务，重建误差与下游成绩明确分开。 [查看对应图解状态](/#/l3-r2-p22/0)[查看完整图解](/course/figures/l3-r2-p22-0.html) ## 课堂讲述 重建好，是关于重建任务的证据。它可能利用了有价值的结构，也可能将很多能力花在纹理和局部统计上；我们还不能由一幅看起来不错的补图，推出所有语义任务都已经解决。 反过来也一样：一种表示不容易被简单分类头读出，不等于它完全没有相关信息。评价方法在限定我们允许怎样使用表示。 因此，要把预训练成绩和下游用途分开。对比学习、遮挡重建、有监督分类，都应该送进你真正关心的任务，检查在相同数据和训练条件下能做什么。我们要的不是一个抽象的“最好表示”称号，而是清楚知道某种表示以什么方式帮助了当前问题。 ### 能补图与能识别，需要两张成绩单 [独立阅读](/course/blocks/reconstruction-and-readout-two-results.html) 重建评价比较预测像素与原图，冻结读出则固定编码器，用有标签参考集或新头预测类别。前者回答模型是否利用可见结构恢复缺失，后者回答这份表示能否支持指定用途。 当前LAB 08的历史基准用1257张训练、540张保留的8×8数字图。去噪ConvAE的全像素MSE从直接使用破坏图的0.06244降至0.03217；清洁输入h的冻结5NN则从相同架构随机起点84.26%提高到95.00%。遮挡ConvAE的对应读出从88.52%到92.04%。这里是两份独立测量共同支持有用性。 原图先切分，再生成噪声和mask；标签不进入重建损失。结果来自已保存运行，本轮没有重训；当前Notebook另记有旧云端复核。它不是原ViT MAE复现，也没有写作者分组，不能据此声称跨写作者泛化。 #### 这条线索的展开与后续阅读 - [PCA 是带约束的线性编码—解码｜怎样检查这项解释](/supplement.html?return=l3-r2-p22/0#/l3-pca-reconstruction-evidence/0) L03补充阅读 - [PCA 是带约束的线性编码—解码｜什么结论还不能推出](/supplement.html?return=l3-r2-p22/0#/l3-pca-reconstruction-boundary/0) L03补充阅读 - [复制输入为何不是好表示｜怎样检查这项解释](/supplement.html?return=l3-r2-p22/0#/l3-autoencoder-denoise-evidence/0) L03补充阅读 - [复制输入为何不是好表示｜什么结论还不能推出](/supplement.html?return=l3-r2-p22/0#/l3-autoencoder-denoise-boundary/0) L03补充阅读 ## MAE 的正面证据，也要说清使用接口 原论文的端到端微调、最后块微调和线性读出，允许改变的计算不同。 ### MAE 的正面证据也依赖评价接口 [独立阅读](/course/blocks/mae-finetuning-evidence.html) MAE论文Table 3使用ImageNet-1K图像作自监督预训练，再端到端微调分类。ViT-L/16在224输入的top-1为85.9%；同表从零训练实现为82.6%。这里的结果支持：遮挡像素目标可以为较大视觉模型提供有效起点。它不是只看重建图好不好看。 论文Figure 9进一步指出，同一ViT-L表示的线性读出为73.5%，只微调最后一个块即可到81.0%。因此线性读出低，并不自动意味着这份表示不适合适配；评价允许改变多少计算，会影响判断。 这些是论文在明确训练与评价条件下的结果，不是本课程LAB 08的数字。阅读时区分三层：MAE原论文、当前教学卷积模型、页面里的16块索引图。它们分别提供研究实证、可运行学习链和透明机制。 **出处：**[MAE 原论文 §3、Table 3、Figure 9](https://arxiv.org/html/2111.06377v3) ## 选读：结构和重建目标需要共同检验 比较ConvNeXt V1/V2与监督/FCMAE两列，先保留训练预算和证据范围。 ### 选读：结构与遮挡目标为什么要共同设计 [独立阅读](/course/blocks/architecture-objective-co-design.html) 把原MAE目标直接搬到卷积网络，并不意味着所有结构假设仍成立。ConvNeXt V2将遮挡图看成稀疏空间输入，用FCMAE组织学习，并引入GRN改善通道响应的多样性。这提供了一个正面研究例子：目标与网络结构可以一起设计。 原论文Table 3的Base比较（ImageNet-1K top-1，%）： | 架构 | 监督训练 | FCMAE预训练后微调 | | --- | --- | --- | | V1-Base | 83.8 | 83.7 | | V2-Base | 84.3 | 84.6 | FCMAE列先预训练800轮再微调，不能称等总预算。V1中换目标为−0.1，V2中为+0.3；这提示组合值得研究，却不能仅凭四个数识别一个严格因果交互。这里是论文证据，和LAB05的patch词典拟合不是同一实验。读完回到P22的用途评价，不再另开主讲章节。 **出处：**[ConvNeXt V2 原论文 Table 3，800-epoch FCMAE](https://arxiv.org/pdf/2301.00808) ## 沿这个问题继续 在LAB 08对照清洁、破坏、预测、误差四列，再读冻结5NN表；不把两种指标相互替代。 #### 按问题回查的讲解与短练习（1） **出处：**[MAE 原论文 §3（2021）](https://arxiv.org/html/2111.06377v3)