Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示训练留下什么,训练答案又从哪里来?

丢掉分类头,究竟还剩下什么?

独立阅读
课堂上下文:从哪个问题来

本页拆开最终类别判断和中间表示,避免把“预测对了一个类别”当成已经回答了所有问题。

一个十分类头可以把 32 维表示压成十个分数。最高分只保留最终决策,完整分数还保留类别间相对偏好;但两者都经过了为原任务学习的投影。若新任务需要原十类名单之外的区分,直接使用这些分数未必合适。

以数字为例,源任务是 0–9 十分类,新任务是“数字是否大于等于5”。最简单的做法可以先识别数字再合并类别,也可以在中间表示上另学二分类头。这两种使用方式的误差来源不同:前者受原十分类错误约束,后者可以重新组合中间特征。LAB01 采用后者,并明确丢弃原十分类头。

“中间表示更通用”是值得检验的经验判断,不是说它保存了原图的一切。后面的颜色例子会展示,训练目标也可能让中间表示放弃未来有用的差异。

继续阅读与实验