Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示限制可见信息,怎样构成可验证的重建任务?

平方误差为什么偏好可能模糊的平均值

固定可见条件,让隐藏值有0和1两种等可能答案,再比较三个确定预测。

为什么缺失处可能被补得模糊?

独立阅读

假设可见条件完全相同,而某个隐藏像素等概率为0或1。总输出0时,平均平方误差是0.5;总输出1也为0.5;输出0.5时,两种情况误差都是0.25,因此平均更小。

一般地,平方损失的最佳确定性预测是给定可见输入的条件均值。存在多种合理补全时,均值可能看起来模糊,即使模型已很好地优化这项损失。这与“完全没学到结构”不是同一个判断。

LAB 08里应把恢复的主要笔画、错误补全和误差图一起读。到第四讲再问:如果我们希望产生某一种合理样本,而不是平均多个可能,训练目标和输出过程应怎样改变?图像描述也已在生成文本,后续生成课将把条件多解作为更一般的问题。

学习信号与表示限制可见信息,怎样构成可验证的重建任务?

读 LAB08:重建和读出各交一份成绩

解释、算例与证据

P22 · 能补图,不等于每项任务都读得好

重建结果与表示用途分开评价,并给出真实正面研究结果和课程小模型结果各自的身份。

P22 学习表示机制图,状态 1P22 学习表示机制图,状态 1重建训练预训练编码器形状读出能否分出零件类型?颜色读出红蓝是否仍可区分?重建误差下游任务结果两种证据,分别测量

遮挡预训练编码器分别连接形状与颜色任务,重建误差与下游成绩明确分开。

  • 重建训练
  • 预训练编码器
  • 形状读出
  • 能否分出零件类型?
  • 颜色读出
  • 红蓝是否仍可区分?
  • 重建误差
  • 下游任务结果
  • 两种证据,分别测量
遮挡预训练编码器分别连接形状与颜色任务,重建误差与下游成绩明确分开。 查看对应图解状态
查看完整图解

课堂讲述

重建好,是关于重建任务的证据。它可能利用了有价值的结构,也可能将很多能力花在纹理和局部统计上;我们还不能由一幅看起来不错的补图,推出所有语义任务都已经解决。 反过来也一样:一种表示不容易被简单分类头读出,不等于它完全没有相关信息。评价方法在限定我们允许怎样使用表示。 因此,要把预训练成绩和下游用途分开。对比学习、遮挡重建、有监督分类,都应该送进你真正关心的任务,检查在相同数据和训练条件下能做什么。我们要的不是一个抽象的“最好表示”称号,而是清楚知道某种表示以什么方式帮助了当前问题。

能补图与能识别,需要两张成绩单

独立阅读

重建评价比较预测像素与原图,冻结读出则固定编码器,用有标签参考集或新头预测类别。前者回答模型是否利用可见结构恢复缺失,后者回答这份表示能否支持指定用途。

当前LAB 08的历史基准用1257张训练、540张保留的8×8数字图。去噪ConvAE的全像素MSE从直接使用破坏图的0.06244降至0.03217;清洁输入h的冻结5NN则从相同架构随机起点84.26%提高到95.00%。遮挡ConvAE的对应读出从88.52%到92.04%。这里是两份独立测量共同支持有用性。

原图先切分,再生成噪声和mask;标签不进入重建损失。结果来自已保存运行,本轮没有重训;当前Notebook另记有旧云端复核。它不是原ViT MAE复现,也没有写作者分组,不能据此声称跨写作者泛化。

这条线索的展开与后续阅读

学习信号与表示限制可见信息,怎样构成可验证的重建任务?

MAE 的正面证据,也要说清使用接口

原论文的端到端微调、最后块微调和线性读出,允许改变的计算不同。

MAE 的正面证据也依赖评价接口

独立阅读

MAE论文Table 3使用ImageNet-1K图像作自监督预训练,再端到端微调分类。ViT-L/16在224输入的top-1为85.9%;同表从零训练实现为82.6%。这里的结果支持:遮挡像素目标可以为较大视觉模型提供有效起点。它不是只看重建图好不好看。

论文Figure 9进一步指出,同一ViT-L表示的线性读出为73.5%,只微调最后一个块即可到81.0%。因此线性读出低,并不自动意味着这份表示不适合适配;评价允许改变多少计算,会影响判断。

这些是论文在明确训练与评价条件下的结果,不是本课程LAB 08的数字。阅读时区分三层:MAE原论文、当前教学卷积模型、页面里的16块索引图。它们分别提供研究实证、可运行学习链和透明机制。

学习信号与表示表示学习的选读问题

选读:结构和重建目标需要共同检验

比较ConvNeXt V1/V2与监督/FCMAE两列,先保留训练预算和证据范围。

选读:结构与遮挡目标为什么要共同设计

独立阅读

把原MAE目标直接搬到卷积网络,并不意味着所有结构假设仍成立。ConvNeXt V2将遮挡图看成稀疏空间输入,用FCMAE组织学习,并引入GRN改善通道响应的多样性。这提供了一个正面研究例子:目标与网络结构可以一起设计。

原论文Table 3的Base比较(ImageNet-1K top-1,%):

架构 监督训练 FCMAE预训练后微调
V1-Base 83.8 83.7
V2-Base 84.3 84.6

FCMAE列先预训练800轮再微调,不能称等总预算。V1中换目标为−0.1,V2中为+0.3;这提示组合值得研究,却不能仅凭四个数识别一个严格因果交互。这里是论文证据,和LAB05的patch词典拟合不是同一实验。读完回到P22的用途评价,不再另开主讲章节。

沿这个问题继续

在LAB 08对照清洁、破坏、预测、误差四列,再读冻结5NN表;不把两种指标相互替代。

按问题回查的讲解与短练习(1)