Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03学习路径: 表示怎样迁移到新任务

学习路径: 表示怎样迁移到新任务

独立阅读

按问题继续

同源参数的冻结/局部/全量/scratch与BN模式辨析

允许改变参数以后,已有权重是否比从头训练更有用?

先读目标数字图和四臂参数范围:只训练新头、解冻后部、全部微调、随机起点。随后只按验证交叉熵选择停点和方案,最后读取保留评价。保存协议中scratch较好;用它检查“迁移必然获益”的直觉,而不是换一套口径把结果改好。

留下四行比较,写清起点、哪些参数更新、验证选择与保留结果。P23区分冻结读出和微调,解释这次负结果说明能带走的判断。

输入是MNIST数字≥5,叶片图只是应用情境。重算从准备单元开始,保持源checkpoint不变;需要新结论时另留评价集。只想判断现成表示而不改参数,请用LAB 01。