Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示限制可见信息,怎样构成可验证的重建任务?

只编码四个可见块,同时保留原始位置

解释、算例与证据

P20 · 十六个图块,只有四个进入编码器

固定16块与4个可见位置,让编码器输入可以逐项指认;计算节省与隐藏比例的关系留在本页说明。

P20 学习表示机制图,状态 2P20 学习表示机制图,状态 2MAE 教学网格 · 16 块中保留 0、3、9、1401234567891011121314154 块可见,12 块隐藏块 0位置 0块 3位置 3块 9位置 9块 14位置 14编码器只处理这 4 块隐藏位置不送入 mask token4 / 16 是输入块数量;并不等于整个系统必然加速 4 倍。

4×4共16块,固定可见0、3、9、14四块携位置进入编码器,12个隐藏块不输入。

  • MAE 教学网格 · 16 块中保留 0、3、9、14
  • 0
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 4 块可见,12 块隐藏
  • 块 0
  • 位置 0
  • 块 3
  • 位置 3
  • 块 9
  • 位置 9
  • 块 14
  • 位置 14
  • 编码器只处理这 4 块
  • 隐藏位置不送入 mask token
  • 4 / 16 是输入块数量;并不等于整个系统必然加速 4 倍。
4×4共16块,固定可见0、3、9、14四块携位置进入编码器,12个隐藏块不输入。 查看对应图解状态
查看完整图解

课堂讲述

为便于观察,把这张图分成十六个图块,遮掉十二个,也就是四分之三。编码器只处理剩下四块,而不是把全部十六个位置都送进去再告诉它哪些是空的。 每个可见图块变成向量,并保留位置线索。这里我们只需要把编码器理解成将可见块组织成表示的网络,不在今天打开 Transformer 内部。 这个结构同时回应学习与计算:任务要求根据少量可见内容推测隐藏部分;昂贵的编码器又少处理了很多输入。注意,十六变四不代表整个系统必然加速四倍,其他计算仍然存在。现在先看清信息流,再看缺失位置怎样回到解码端。

16 块中,编码器真的只看见 4 块

独立阅读

当前图把原图切为4×4网格,位置编号0–15,可见集合固定为{0,3,9,14},其余12块隐藏。原图仍由数据管线保存,供损失比较;它不作为完整输入偷偷进入编码器。

可见patch转换成向量,并带着原始位置线索进入编码器。这里的位置不能压成“现在队列中的第1、2、3、4项”:位置0与位置14在原图的含义不同。输出表示还要能够放回原来的空间位置。

4/16是课堂上说明75%遮挡的简单图。随机遮挡会让训练中的可见集合变化;当前固定集合是便于逐项追踪的一个样本。原MAE的非对称设计关键在于让较重编码器只处理可见项,而不是在完整图编码之后才把12块涂黑。

少看图块为何省计算,又为何不是固定加速比

独立阅读

16块只保留4块,编码器处理的项数变为四分之一。一些逐项计算随项数下降;涉及两两位置的计算从16²降为4²,是原来的1/16。这可以解释为什么高遮挡率有计算价值,但不需要在本讲展开注意力算法。

整个训练还包含patch转换、其他网络层、解码器、损失和硬件调度。解码器重新处理完整位置,因此端到端耗时不等于某个二次项的比值。课堂上“16倍”只可描述这个构造的两两项数变化,不能宣称实际训练快16倍。

当前LAB 08用稠密卷积网格加mask通道,仍处理完整8×8图像;它能教遮挡目标与评价,但不能复现原MAE可见token编码器的计算节省。方法机制与教学模型的对应范围应这样逐项标清。

沿这个问题继续

对照LAB 08最后的原MAE比较表,明确教学ConvAE仍处理稠密网格;不要拿它测原MAE加速。

图示条件与公式约定

块索引按从左到右、从上到下的0至15。可见集合={0,3,9,14},隐藏比例=12/16=.75。现实预训练随机采样,此处固定采样结果以便追踪。

这条线索的展开与后续阅读