学习信号与表示限制可见信息,怎样构成可验证的重建任务?
假设可见条件完全相同,而某个隐藏像素等概率为0或1。总输出0时,平均平方误差是0.5;总输出1也为0.5;输出0.5时,两种情况误差都是0.25,因此平均更小。
一般地,平方损失的最佳确定性预测是给定可见输入的条件均值。存在多种合理补全时,均值可能看起来模糊,即使模型已很好地优化这项损失。这与“完全没学到结构”不是同一个判断。
LAB 08里应把恢复的主要笔画、错误补全和误差图一起读。到第四讲再问:如果我们希望产生某一种合理样本,而不是平均多个可能,训练目标和输出过程应怎样改变?图像描述也已在生成文本,后续生成课将把条件多解作为更一般的问题。
学习信号与表示限制可见信息,怎样构成可验证的重建任务?
重建结果与表示用途分开评价,并给出真实正面研究结果和课程小模型结果各自的身份。
遮挡预训练编码器分别连接形状与颜色任务,重建误差与下游成绩明确分开。 查看对应图解状态查看完整图解 重建好,是关于重建任务的证据。它可能利用了有价值的结构,也可能将很多能力花在纹理和局部统计上;我们还不能由一幅看起来不错的补图,推出所有语义任务都已经解决。
反过来也一样:一种表示不容易被简单分类头读出,不等于它完全没有相关信息。评价方法在限定我们允许怎样使用表示。
因此,要把预训练成绩和下游用途分开。对比学习、遮挡重建、有监督分类,都应该送进你真正关心的任务,检查在相同数据和训练条件下能做什么。我们要的不是一个抽象的“最好表示”称号,而是清楚知道某种表示以什么方式帮助了当前问题。
重建评价比较预测像素与原图,冻结读出则固定编码器,用有标签参考集或新头预测类别。前者回答模型是否利用可见结构恢复缺失,后者回答这份表示能否支持指定用途。
当前LAB 08的历史基准用1257张训练、540张保留的8×8数字图。去噪ConvAE的全像素MSE从直接使用破坏图的0.06244降至0.03217;清洁输入h的冻结5NN则从相同架构随机起点84.26%提高到95.00%。遮挡ConvAE的对应读出从88.52%到92.04%。这里是两份独立测量共同支持有用性。
原图先切分,再生成噪声和mask;标签不进入重建损失。结果来自已保存运行,本轮没有重训;当前Notebook另记有旧云端复核。它不是原ViT MAE复现,也没有写作者分组,不能据此声称跨写作者泛化。
学习信号与表示限制可见信息,怎样构成可验证的重建任务?
MAE论文Table 3使用ImageNet-1K图像作自监督预训练,再端到端微调分类。ViT-L/16在224输入的top-1为85.9%;同表从零训练实现为82.6%。这里的结果支持:遮挡像素目标可以为较大视觉模型提供有效起点。它不是只看重建图好不好看。
论文Figure 9进一步指出,同一ViT-L表示的线性读出为73.5%,只微调最后一个块即可到81.0%。因此线性读出低,并不自动意味着这份表示不适合适配;评价允许改变多少计算,会影响判断。
这些是论文在明确训练与评价条件下的结果,不是本课程LAB 08的数字。阅读时区分三层:MAE原论文、当前教学卷积模型、页面里的16块索引图。它们分别提供研究实证、可运行学习链和透明机制。