学习信号与表示限制可见信息,怎样构成可验证的重建任务?
固定16块与4个可见位置,让编码器输入可以逐项指认;计算节省与隐藏比例的关系留在本页说明。
4×4共16块,固定可见0、3、9、14四块携位置进入编码器,12个隐藏块不输入。 查看对应图解状态查看完整图解 为便于观察,把这张图分成十六个图块,遮掉十二个,也就是四分之三。编码器只处理剩下四块,而不是把全部十六个位置都送进去再告诉它哪些是空的。
每个可见图块变成向量,并保留位置线索。这里我们只需要把编码器理解成将可见块组织成表示的网络,不在今天打开 Transformer 内部。
这个结构同时回应学习与计算:任务要求根据少量可见内容推测隐藏部分;昂贵的编码器又少处理了很多输入。注意,十六变四不代表整个系统必然加速四倍,其他计算仍然存在。现在先看清信息流,再看缺失位置怎样回到解码端。
当前图把原图切为4×4网格,位置编号0–15,可见集合固定为{0,3,9,14},其余12块隐藏。原图仍由数据管线保存,供损失比较;它不作为完整输入偷偷进入编码器。
可见patch转换成向量,并带着原始位置线索进入编码器。这里的位置不能压成“现在队列中的第1、2、3、4项”:位置0与位置14在原图的含义不同。输出表示还要能够放回原来的空间位置。
4/16是课堂上说明75%遮挡的简单图。随机遮挡会让训练中的可见集合变化;当前固定集合是便于逐项追踪的一个样本。原MAE的非对称设计关键在于让较重编码器只处理可见项,而不是在完整图编码之后才把12块涂黑。
16块只保留4块,编码器处理的项数变为四分之一。一些逐项计算随项数下降;涉及两两位置的计算从16²降为4²,是原来的1/16。这可以解释为什么高遮挡率有计算价值,但不需要在本讲展开注意力算法。
整个训练还包含patch转换、其他网络层、解码器、损失和硬件调度。解码器重新处理完整位置,因此端到端耗时不等于某个二次项的比值。课堂上“16倍”只可描述这个构造的两两项数变化,不能宣称实际训练快16倍。
当前LAB 08用稠密卷积网格加mask通道,仍处理完整8×8图像;它能教遮挡目标与评价,但不能复现原MAE可见token编码器的计算节省。方法机制与教学模型的对应范围应这样逐项标清。
块索引按从左到右、从上到下的0至15。可见集合={0,3,9,14},隐藏比例=12/16=.75。现实预训练随机采样,此处固定采样结果以便追踪。