16 块中,编码器真的只看见 4 块
课堂上下文:从哪个问题来
固定16块与4个可见位置,让编码器输入可以逐项指认;计算节省与隐藏比例的关系留在本页说明。
当前图把原图切为4×4网格,位置编号0–15,可见集合固定为{0,3,9,14},其余12块隐藏。原图仍由数据管线保存,供损失比较;它不作为完整输入偷偷进入编码器。
可见patch转换成向量,并带着原始位置线索进入编码器。这里的位置不能压成“现在队列中的第1、2、3、4项”:位置0与位置14在原图的含义不同。输出表示还要能够放回原来的空间位置。
4/16是课堂上说明75%遮挡的简单图。随机遮挡会让训练中的可见集合变化;当前固定集合是便于逐项追踪的一个样本。原MAE的非对称设计关键在于让较重编码器只处理可见项,而不是在完整图编码之后才把12块涂黑。
可见位置0、3、9、14进入编码器,12个隐藏块只在目标端保留。 查看对应图解状态
- MAE 教学网格 · 16 块中保留 0、3、9、14
- 0
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 4 块可见,12 块隐藏
- 块 0
- 位置 0
- 块 3
- 位置 3
- 块 9
- 位置 9
- 块 14
- 位置 14
- 编码器只处理这 4 块
- 隐藏位置不送入 mask token
- 4 / 16 是输入块数量;并不等于整个系统必然加速 4 倍。