## 换掉分类头，为新问题留下什么

## 解释、算例与证据

# P02 · 类别答案，不等于中间表示

本页拆开最终类别判断和中间表示，避免把“预测对了一个类别”当成已经回答了所有问题。



图内标签与数值：P02 学习表示机制图，状态 1；视觉网络 f；中间表示 h；原类别头；杯子 / 书 / …；新任务头；新标签 + 训练 + 评价；也可继续调整原网络；保留视觉计算与参数，是迁移的起点；新任务的答案仍需学习。

图片经过视觉网络得到空间特征，中间表示分别连接原类别头和新任务头；虚线示意继续调整网络。

- 视觉网络 f
- 中间表示 h
- 原类别头
- 杯子 / 书 / …
- 新任务头
- 新标签 + 训练 + 评价
- 也可继续调整原网络
- 保留视觉计算与参数，是迁移的起点；新任务的答案仍需学习。图片经过视觉网络得到空间特征，中间表示分别连接原类别头和新任务头；虚线示意继续调整网络。 [查看对应图解状态](/#/l3-r2-p02/0)[查看完整图解](/course/figures/l3-r2-p02-0.html)

## 课堂讲述

回到我们已经认识的分类器。图片经过网络，先得到中间特征，再由最后的分类部分给出分数。训练时，它们一起为类别预测服务，但训练后，这两个部分的用途可以不同。
最后一层很贴近原来的类别集合。中间特征却可能同时包含边缘、纹理、部件以及它们的组合。我们可以保留这些计算和参数，为新任务训练新的读出部分，也可以继续调整原网络。这就是迁移的起点。
这里先把一个容易混淆的概念说清：有监督训练也能得到可迁移表示。今天接着讲自监督，不是因为监督表示不能迁移，而是要问：得到这些表示，是否必须始终依赖逐张图片的人工类别答案？


### 丢掉分类头，究竟还剩下什么？
[独立阅读](/course/blocks/category-head-versus-representation.html)
一个十分类头可以把 32 维表示压成十个分数。最高分只保留最终决策，完整分数还保留类别间相对偏好；但两者都经过了为原任务学习的投影。若新任务需要原十类名单之外的区分，直接使用这些分数未必合适。



以数字为例，源任务是 0–9 十分类，新任务是“数字是否大于等于5”。最简单的做法可以先识别数字再合并类别，也可以在中间表示上另学二分类头。这两种使用方式的误差来源不同：前者受原十分类错误约束，后者可以重新组合中间特征。LAB01 采用后者，并明确丢弃原十分类头。



“中间表示更通用”是值得检验的经验判断，不是说它保存了原图的一切。后面的颜色例子会展示，训练目标也可能让中间表示放弃未来有用的差异。


## 沿这个问题继续

接读LAB 01固定32维特征的定义，再到P23看同一特征如何接两种读出。

**出处：**[S1 · 教材与出处](/course/round2-sources.html#S1)
#### 这条线索的展开与后续阅读

- [我们已经会更新网络，答案从哪里来？](/supplement.html?return=l3-r2-p02/0#/l3-recap/0) 本页说明