保留最大方差,不等于保留任务答案
课堂上下文:从哪个问题来
重建不是简单复制;瓶颈、破坏或遮挡为学习增加约束,和视图关系形成另一类目标。
取四点 。均值为零,按四个样本取平均的协方差为diag(2,0.5)。PCA只保留一维时选择横轴:前两点不变,后两点投影为原点。平均平方重建误差为 ;若选纵轴,则为2。
在“尽量重建输入”这个题目下,横轴合理。但若任务要区分纵坐标正负,两点落在原点后就无法再区分。问题不在PCA算错,而在重建目标和未来用途不完全一致。
这个反例同样提醒我们理解深层重建:低像素误差是一个有意义的成绩,却不是所有语义任务的替代指标。需要另外检验表示能否支持类别、颜色或空间读出。