Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03先沿一行读“从哪里开始”,再读“哪些部分会动”

先沿一行读“从哪里开始”,再读“哪些部分会动”

独立阅读

按问题继续

同源参数的冻结/局部/全量/scratch与BN模式辨析

先沿一行读“从哪里开始”,再读“哪些部分会动”。 四行都是同一小 CNN 的二分类版本。

head、late、all、scratch四种起点和可更新参数范围

结构示意,由本页模型定义与参数计数绘制。灰:读取源参数并冻结;绿:读取源参数并更新;黄:新分类头;蓝:随机起点并更新。图中 66/26354/26434 是可更新参数数,尚不是效果。

head 只更新新头;late 更新第二卷积层、32 维隐藏层与新头;all 更新全部层。scratch 不读预训练权重。先核对: late 与 all 只相差 80 个可更新参数,它们对应图中的哪一块?为什么“少解冻一层”不一定意味着参数大幅减少?

代码会实际核对可更新参数。这个模型没有 BatchNorm 或 Dropout;含这些层时,冻结参数还需单独决定模式与状态,见第二讲 LAB05 · 经典架构与视觉表示与第二讲 LAB03 · 架构实验室。