[CLS 01 · 学习信号、表示与迁移](/course/notebooks/fb4365d604974dd19df492cb22516e44.html)

# 4×4，位置 0–15
[独立阅读](/course/notebook-blocks/fdd3ba8228064e708e554a6bf0bc3239.html)
主线阅读与优先实验

标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据

**4×4，位置 0–15**

![4×4，位置 0–15](/course/knowledge-assets/a3e27515290178f1ab6a68b1.jpg)

**仅位置 0/3/9/14 可见**

![仅位置 0/3/9/14 可见](/course/knowledge-assets/1b0dd8453a17629d0f9bf823.jpg)

16 块位置示意：可见位置为 0、3、9、14；其余是要预测的位置。完整源图提供目标，图中不展示虚构模型补全。

MAE 把图像分成 4×4 的 16 块。这个教学例子保留 4 块，遮住 12 块：**编码器只读取可见块及其位置**；轻量解码器将可见表示放回正确位置，再在缺失处插入 mask token，构成完整位置序列。隐藏位置的预测与原图相应位置比较，形成训练损失。训练之后主要保留编码器服务识别任务。[MAE](https://arxiv.org/abs/2111.06377)

**先预测：** 如果把相同四块的位置信息拿走，解码器还知道它们来自左上还是右下吗？把可见集合改为相邻四块，对推测全图会有什么影响？

对比目标强调变换后的关系；遮挡目标要求可见内容支持缺失内容预测。两种路线都有可能得到可复用表示，也都有选择代价：强变换可能删掉任务线索，重建可能把资源用在下游并不关心的纹理上。