解码器补位置,目标来自原图

P21 学习表示机制图,状态 2P21 学习表示机制图,状态 2解码端:所有位置加入 pᵢ;隐藏位置共用一个 mask 向量 Mh0+p0M+p1M+p2h3+p3M+p4M+p5M+p6M+p7M+p8h9+p9M+p10M+p11M+p12M+p13h14+p14M+p154 个 h + 12 个 M轻量解码器ŷ0ŷ1ŷ2ŷ3ŷ4ŷ5ŷ6ŷ7ŷ8ŷ9ŷ10ŷ11ŷ12ŷ13ŷ14ŷ15各位置的像素预测(符号示意)原图目标 xL = (1/12) Σ隐藏块 MSE(ŷᵢ, xᵢ)橙框:12 个计入 loss 的位置预训练后留下编码器;重建用解码器不必进入下游系统。
原图提供目标,loss 只计算在 12 个隐藏块上。 · 在课堂播放器中查看

4个编码结果和12个共享mask加位置线索进入解码器;输出是16个符号像素预测,橙框只标隐藏位置,原图小图为目标。

返回同一状态