Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示限制可见信息,怎样构成可验证的重建任务?

保留最大方差,不等于保留任务答案

独立阅读
课堂上下文:从哪个问题来

重建不是简单复制;瓶颈、破坏或遮挡为学习增加约束,和视图关系形成另一类目标。

取四点 (2,0),(−2,0),(0,1),(0,−1)(2,0),(-2,0),(0,1),(0,-1)。均值为零,按四个样本取平均的协方差为diag(2,0.5)。PCA只保留一维时选择横轴:前两点不变,后两点投影为原点。平均平方重建误差为 (0+0+1+1)/4=0.5(0+0+1+1)/4=0.5;若选纵轴,则为2。

在“尽量重建输入”这个题目下,横轴合理。但若任务要区分纵坐标正负,两点落在原点后就无法再区分。问题不在PCA算错,而在重建目标和未来用途不完全一致。

这个反例同样提醒我们理解深层重建:低像素误差是一个有意义的成绩,却不是所有语义任务的替代指标。需要另外检验表示能否支持类别、颜色或空间读出。

继续阅读与实验