# 模拟问答：不知道的地方为何还有位置？
[独立阅读](/course/blocks/mae-position-dialogue.html)**课堂上下文：从哪个问题来**
解码阶段恢复位置，再预测内容；目标从原图来，误差只在隐藏集合比较。


以下为备课用模拟对话，不是实际课堂记录。



**学生：**“遮住的地方没有像素，为什么解码器还有16项？”



**教师：**“我们不知道内容，但知道问题要问哪个位置。可见位置放编码表示，隐藏位置放共同的mask占位，再给每项自己的位置线索。占位不是答案，位置告诉模型答案该落在哪儿。”



**学生：**“既然原图有答案，为什么不直接把它送进去？”



**教师：**“原图由损失端保存。若把隐藏像素作为输入，模型就可能复制，遮挡任务被取消了。看图时把编码器入口和损失比较端分开。”



**学生：**“补得像原图，就算学会分类了吗？”



**教师：**“那说明重建这件事做得更好。下一页再冻住编码器，另用标签做读出；只有测到那份结果，才能说明表示对分类有用。”



图内标签与数值：P21 学习表示机制图，状态 2；解码端：所有位置加入 pᵢ；隐藏位置共用一个 mask 向量 M；h0+p0；M+p1；M+p2；h3+p3；M+p4；M+p5；M+p6；M+p7；M+p8；h9+p9；M+p10；M+p11；M+p12；M+p13；h14+p14；M+p15；4 个 h + 12 个 M；轻量解码器；ŷ0；ŷ1；ŷ2；ŷ3；ŷ4；ŷ5；ŷ6；ŷ7；ŷ8；ŷ9；ŷ10；ŷ11；ŷ12；ŷ13；ŷ14；ŷ15；各位置的像素预测（符号示意）；原图目标 x；L = (1/12) Σ隐藏块 MSE(ŷᵢ, xᵢ)；橙框：12 个计入 loss 的位置；预训练后留下编码器；重建用解码器不必进入下游系统。

未知的是像素内容，已知的是需要预测的原图位置。 查看对应图解状态

- 解码端：所有位置加入 pᵢ；隐藏位置共用一个 mask 向量 M
- h0+p0
- M+p1
- M+p2
- h3+p3
- M+p4
- M+p5
- M+p6
- M+p7
- M+p8
- h9+p9
- M+p10
- M+p11
- M+p12
- M+p13
- h14+p14
- M+p15
- 4 个 h + 12 个 M
- 轻量解码器
- ŷ0
- ŷ1
- ŷ2
- ŷ3
- ŷ4
- ŷ5
- ŷ6
- ŷ7
- ŷ8
- ŷ9
- ŷ10
- ŷ11
- ŷ12
- ŷ13
- ŷ14
- ŷ15
- 各位置的像素预测（符号示意）
- 原图目标 x
- L = (1/12) Σ隐藏块 MSE(ŷᵢ, xᵢ)
- 橙框：12 个计入 loss 的位置
- 预训练后留下编码器；重建用解码器不必进入下游系统。未知的是像素内容，已知的是需要预测的原图位置。 [查看对应图解状态](/#/l3-r2-p21/1)[查看完整图解](/#/l3-r2-p21/1)

## 继续阅读与实验