Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示限制可见信息,怎样构成可验证的重建任务?

16 块中,编码器真的只看见 4 块

独立阅读
课堂上下文:从哪个问题来

固定16块与4个可见位置,让编码器输入可以逐项指认;计算节省与隐藏比例的关系留在本页说明。

当前图把原图切为4×4网格,位置编号0–15,可见集合固定为{0,3,9,14},其余12块隐藏。原图仍由数据管线保存,供损失比较;它不作为完整输入偷偷进入编码器。

可见patch转换成向量,并带着原始位置线索进入编码器。这里的位置不能压成“现在队列中的第1、2、3、4项”:位置0与位置14在原图的含义不同。输出表示还要能够放回原来的空间位置。

4/16是课堂上说明75%遮挡的简单图。随机遮挡会让训练中的可见集合变化;当前固定集合是便于逐项追踪的一个样本。原MAE的非对称设计关键在于让较重编码器只处理可见项,而不是在完整图编码之后才把12块涂黑。

P20 学习表示机制图,状态 2P20 学习表示机制图,状态 2MAE 教学网格 · 16 块中保留 0、3、9、1401234567891011121314154 块可见,12 块隐藏块 0位置 0块 3位置 3块 9位置 9块 14位置 14编码器只处理这 4 块隐藏位置不送入 mask token4 / 16 是输入块数量;并不等于整个系统必然加速 4 倍。

可见位置0、3、9、14进入编码器,12个隐藏块只在目标端保留。 查看对应图解状态

  • MAE 教学网格 · 16 块中保留 0、3、9、14
  • 0
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 4 块可见,12 块隐藏
  • 块 0
  • 位置 0
  • 块 3
  • 位置 3
  • 块 9
  • 位置 9
  • 块 14
  • 位置 14
  • 编码器只处理这 4 块
  • 隐藏位置不送入 mask token
  • 4 / 16 是输入块数量;并不等于整个系统必然加速 4 倍。
可见位置0、3、9、14进入编码器,12个隐藏块只在目标端保留。 查看对应图解状态
查看完整图解

继续阅读与实验