## 训练保存参数，输入才产生表示

## 解释、算例与证据

# P01 · 训练结束后，网络留下了什么？

先把第二讲的训练闭环收成可复用对象：参数、当前表示、类别头。由此引出本讲为何讨论训练信号和新任务。



图内标签与数值：P01 学习表示机制图，状态 2；同一场景；是什么？；杯子 · 书；在哪里？哪一只？；书左边的红杯；杯身与杯柄的边界；学习信号；区域与像素；语言与任务

红蓝两杯与书的同一底图，类别标签逐步增加两个杯框和语言指代。

- 同一场景
- 是什么？
- 杯子 · 书
- 在哪里？哪一只？
- 书左边的红杯
- 杯身与杯柄的边界
- 学习信号
- 区域与像素
- 语言与任务红蓝两杯与书的同一底图，类别标签逐步增加两个杯框和语言指代。 [查看对应图解状态](/#/l3-r2-p01/1)[查看完整图解](/course/figures/l3-r2-p01-1.html)

## 课堂讲述

上一讲，我们把网络拆开，看它怎样组织计算、怎样根据误差改变参数。今天把训练过程先停下来，留下已经训练好的网络。我要问的是：它到底给我们留下了什么？是一张类别对照表，还是一种可以继续使用的看图方式？
看这张桌面照片。说出“有杯子”只是一个问题；找到杯子的位置，把杯子的像素分出来，再根据“书左边的杯子”找到目标，是另外几个问题。我们不希望每换一个问题，就把过去学到的东西全部作废。
今天沿三步往前走：先看这些表示还能怎样学，再看它怎样支持区域和像素，最后看语言怎样加入。每一步都追问同一件事：什么留下来，什么必须重新学习。


### 训练留下参数；一次输入才产生表示
[独立阅读](/course/blocks/representation-after-training.html)
训练时，我们不断用图像、目标和损失修改参数 $\theta$。训练结束后保存的是参数文件；把新图 $x$ 送入它，才得到表示 $h=f_\theta(x)$。这两样东西不能混叫“特征”：前者是可复用的计算规则，后者是某个输入在这套规则下的输出。



分类头把 $h$ 变成类别分数 $a=Wh+b$。换成“哪一只杯子在左边”时，原分类头的类别名单往往无用，但前面识别轮廓、纹理和部件的计算可能仍有用。这就是移除原头、保留编码器的起点。它提出了一个可检验的假设：**旧任务塑造的中间计算，能降低新任务学习的困难。**



看当前图时，先指向“图像→表示”，再指向“表示→类别”。本讲第一部分改变前一段怎样学习，第二部分改变后一段要交付什么；不要求把所有问题塞进同一个输出向量。


## 沿这个问题继续

读“训练留下参数”后，尝试给自己的科研输入、编码器与输出各写一个实例；暂不运行实验。

**出处：**[S0 · 原文](https://codingai.pages.dev/) · [S1 · 教材与出处](/course/round2-sources.html#S1) · [S4 · 教材与出处](/course/round2-sources.html#S4)
#### 图示条件与公式约定

复用现有两杯一书原创场景；没有在画面中添加不存在的零件。框及文字为教学标注，不是模型输出。


#### 这条线索的展开与后续阅读

- [可迁移表示与多模态感知](/supplement.html?return=l3-r2-p01/0#/l3-representation-opening/0) 本页说明