模拟问答:不知道的地方为何还有位置?
课堂上下文:从哪个问题来
解码阶段恢复位置,再预测内容;目标从原图来,误差只在隐藏集合比较。
以下为备课用模拟对话,不是实际课堂记录。
学生:“遮住的地方没有像素,为什么解码器还有16项?”
教师:“我们不知道内容,但知道问题要问哪个位置。可见位置放编码表示,隐藏位置放共同的mask占位,再给每项自己的位置线索。占位不是答案,位置告诉模型答案该落在哪儿。”
学生:“既然原图有答案,为什么不直接把它送进去?”
教师:“原图由损失端保存。若把隐藏像素作为输入,模型就可能复制,遮挡任务被取消了。看图时把编码器入口和损失比较端分开。”
学生:“补得像原图,就算学会分类了吗?”
教师:“那说明重建这件事做得更好。下一页再冻住编码器,另用标签做读出;只有测到那份结果,才能说明表示对分类有用。”
未知的是像素内容,已知的是需要预测的原图位置。 查看对应图解状态
- 解码端:所有位置加入 pᵢ;隐藏位置共用一个 mask 向量 M
- h0+p0
- M+p1
- M+p2
- h3+p3
- M+p4
- M+p5
- M+p6
- M+p7
- M+p8
- h9+p9
- M+p10
- M+p11
- M+p12
- M+p13
- h14+p14
- M+p15
- 4 个 h + 12 个 M
- 轻量解码器
- ŷ0
- ŷ1
- ŷ2
- ŷ3
- ŷ4
- ŷ5
- ŷ6
- ŷ7
- ŷ8
- ŷ9
- ŷ10
- ŷ11
- ŷ12
- ŷ13
- ŷ14
- ŷ15
- 各位置的像素预测(符号示意)
- 原图目标 x
- L = (1/12) Σ隐藏块 MSE(ŷᵢ, xᵢ)
- 橙框:12 个计入 loss 的位置
- 预训练后留下编码器;重建用解码器不必进入下游系统。