训练留下参数；一次输入才产生表示

训练时，我们不断用图像、目标和损失修改参数 $\theta$。训练结束后保存的是参数文件；把新图 $x$ 送入它，才得到表示 $h=f_\theta(x)$。这两样东西不能混叫“特征”：前者是可复用的计算规则，后者是某个输入在这套规则下的输出。

分类头把 $h$ 变成类别分数 $a=Wh+b$。换成“哪一只杯子在左边”时，原分类头的类别名单往往无用，但前面识别轮廓、纹理和部件的计算可能仍有用。这就是移除原头、保留编码器的起点。它提出了一个可检验的假设：旧任务塑造的中间计算，能降低新任务学习的困难。

看当前图时，先指向“图像→表示”，再指向“表示→类别”。本讲第一部分改变前一段怎样学习，第二部分改变后一段要交付什么；不要求把所有问题塞进同一个输出向量。