Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示限制可见信息,怎样构成可验证的重建任务?

模拟问答:不知道的地方为何还有位置?

独立阅读
课堂上下文:从哪个问题来

解码阶段恢复位置,再预测内容;目标从原图来,误差只在隐藏集合比较。

以下为备课用模拟对话,不是实际课堂记录。

学生:“遮住的地方没有像素,为什么解码器还有16项?”

教师:“我们不知道内容,但知道问题要问哪个位置。可见位置放编码表示,隐藏位置放共同的mask占位,再给每项自己的位置线索。占位不是答案,位置告诉模型答案该落在哪儿。”

学生:“既然原图有答案,为什么不直接把它送进去?”

教师:“原图由损失端保存。若把隐藏像素作为输入,模型就可能复制,遮挡任务被取消了。看图时把编码器入口和损失比较端分开。”

学生:“补得像原图,就算学会分类了吗?”

教师:“那说明重建这件事做得更好。下一页再冻住编码器,另用标签做读出;只有测到那份结果,才能说明表示对分类有用。”

P21 学习表示机制图,状态 2P21 学习表示机制图,状态 2解码端:所有位置加入 pᵢ;隐藏位置共用一个 mask 向量 Mh0+p0M+p1M+p2h3+p3M+p4M+p5M+p6M+p7M+p8h9+p9M+p10M+p11M+p12M+p13h14+p14M+p154 个 h + 12 个 M轻量解码器ŷ0ŷ1ŷ2ŷ3ŷ4ŷ5ŷ6ŷ7ŷ8ŷ9ŷ10ŷ11ŷ12ŷ13ŷ14ŷ15各位置的像素预测(符号示意)原图目标 xL = (1/12) Σ隐藏块 MSE(ŷᵢ, xᵢ)橙框:12 个计入 loss 的位置预训练后留下编码器;重建用解码器不必进入下游系统。

未知的是像素内容,已知的是需要预测的原图位置。 查看对应图解状态

  • 解码端:所有位置加入 pᵢ;隐藏位置共用一个 mask 向量 M
  • h0+p0
  • M+p1
  • M+p2
  • h3+p3
  • M+p4
  • M+p5
  • M+p6
  • M+p7
  • M+p8
  • h9+p9
  • M+p10
  • M+p11
  • M+p12
  • M+p13
  • h14+p14
  • M+p15
  • 4 个 h + 12 个 M
  • 轻量解码器
  • ŷ0
  • ŷ1
  • ŷ2
  • ŷ3
  • ŷ4
  • ŷ5
  • ŷ6
  • ŷ7
  • ŷ8
  • ŷ9
  • ŷ10
  • ŷ11
  • ŷ12
  • ŷ13
  • ŷ14
  • ŷ15
  • 各位置的像素预测(符号示意)
  • 原图目标 x
  • L = (1/12) Σ隐藏块 MSE(ŷᵢ, xᵢ)
  • 橙框:12 个计入 loss 的位置
  • 预训练后留下编码器;重建用解码器不必进入下游系统。
未知的是像素内容,已知的是需要预测的原图位置。 查看对应图解状态
查看完整图解

继续阅读与实验