重建需要什么限制,才不只是在复制?
课堂上下文:从哪个问题来
重建不是简单复制;瓶颈、破坏或遮挡为学习增加约束,和视图关系形成另一类目标。
如果把原图完整交给一个足够强的模型,再要求原样输出,复制就能得到零误差。重建作为表示学习目标,需要规定信息怎样通过:离散词典限制代码只能是一个索引,PCA限制在线性低维子空间,去噪自编码器限制只能看被破坏输入,MAE限制只看到部分位置。
这些限制迫使模型利用数据规律。反过来,跳连若把目标原样送到输出,或输入预处理意外泄漏被遮像素,就可能完成重建却绕过了希望训练的表示。
本讲不要求先学完所有自编码器。沿“输入可见什么→中间表示允许什么→在哪些位置算误差”即可比较它们。LAB 05保留真实patch词典拟合,CLS 05给PCA与去噪推导,LAB 08再把重建和冻结读出接到同一图像实验。