Lecture 03与原MAE逐项对齐
与原MAE逐项对齐
按问题继续
索引恢复、去噪/遮挡ConvAE训练、PCA基线、独立冻结评价
与原MAE逐项对齐
| 环节 | 本册masked ConvAE | 原MAE关键设计 |
|---|---|---|
| 编码器输入 | 可见像素+mask通道，完整8×8网格 | 只输入可见patch的token |
| 编码器 | 小卷积网络、16维瓶颈 | ViT编码器 |
| 位置恢复 | 索引热身精确演示；主模型保持网格位置 | 解码端恢复token顺序并加入mask token |
| 重建损失 | 隐藏像素MSE | masked patch的像素重建目标 |
| 计算量随mask变化 | 本实现基本不减少 | 可见token更少会减少编码器计算 |
| 表示评价 | 小数字集冻结5-NN | 论文有大规模分类与迁移评价 |
因此本册完成了真实图像遮挡重建与单独的表示评价，但没有把卷积模型重命名为原MAE复现。索引热身、masked ConvAE和MAE论文提供三种不同粒度的证据。
可做的条件修改：保持训练权重，先改变 patch_mask 的评估遮挡比例，维持相同随机排列；再选择一个新实验，把训练遮挡率改为75%，另存新目录。先预测低可见证据会怎样改变细笔画和读出，不要只寻找一张好看的重建图。
来源：去噪自编码器原论文、MAE原论文、MAE作者实现的mask/restore/loss、scikit-learn digits数据说明。本册模型结构、训练权重、图和测量来自本轮CPU运行。