课堂主讲
导读
连续讲稿
补充阅读
问卷作业 ↗
解码器补位置,目标来自原图
P21 学习表示机制图,状态 2
P21 学习表示机制图,状态 2
解码端:所有位置加入 pᵢ;隐藏位置共用一个 mask 向量 M
h0+p0
M+p1
M+p2
h3+p3
M+p4
M+p5
M+p6
M+p7
M+p8
h9+p9
M+p10
M+p11
M+p12
M+p13
h14+p14
M+p15
4 个 h + 12 个 M
轻量解码器
ŷ0
ŷ1
ŷ2
ŷ3
ŷ4
ŷ5
ŷ6
ŷ7
ŷ8
ŷ9
ŷ10
ŷ11
ŷ12
ŷ13
ŷ14
ŷ15
各位置的像素预测(符号示意)
原图目标 x
L = (1/12) Σ隐藏块 MSE(ŷᵢ, xᵢ)
橙框:12 个计入 loss 的位置
预训练后留下编码器;重建用解码器不必进入下游系统。
原图提供目标,loss 只计算在 12 个隐藏块上。 ·
在课堂播放器中查看
4个编码结果和12个共享mask加位置线索进入解码器;输出是16个符号像素预测,橙框只标隐藏位置,原图小图为目标。
返回同一状态