Lecture 034×4,位置 0–15
4×4,位置 0–15
主线阅读与优先实验
标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据
4×4,位置 0–15

仅位置 0/3/9/14 可见

16 块位置示意:可见位置为 0、3、9、14;其余是要预测的位置。完整源图提供目标,图中不展示虚构模型补全。
MAE 把图像分成 4×4 的 16 块。这个教学例子保留 4 块,遮住 12 块:编码器只读取可见块及其位置;轻量解码器将可见表示放回正确位置,再在缺失处插入 mask token,构成完整位置序列。隐藏位置的预测与原图相应位置比较,形成训练损失。训练之后主要保留编码器服务识别任务。MAE
先预测: 如果把相同四块的位置信息拿走,解码器还知道它们来自左上还是右下吗?把可见集合改为相邻四块,对推测全图会有什么影响?
对比目标强调变换后的关系;遮挡目标要求可见内容支持缺失内容预测。两种路线都有可能得到可复用表示,也都有选择代价:强变换可能删掉任务线索,重建可能把资源用在下游并不关心的纹理上。