Lecture 03表示怎样迁移到新任务
表示怎样迁移到新任务
换一组标签,原来的表示还够用吗?哪些参数值得更新?
Lecture 03表示怎样迁移到新任务
阅读与动手顺序
先分开表示和读出
固定特征,只改变标签预算与分类读出,观察新任务需要多少监督。
再决定是否改变表示
在同一适配问题里比较冻结、局部更新与全量微调;把训练参数范围和数据预算一起记录。
把结果带到一个新条件
只有碰到可读出性、新域或数据泄漏问题时,再选下方对应短练习。
Lecture 03表示怎样迁移到新任务
带走的结果
一张比较表:标签预算、更新参数、测试条件、结果,以及你愿意选择的适配方案。
Lecture 03表示怎样迁移到新任务
优先实践
可先阅读已有结果,再按问题选择是否重算。并列实验提供不同起点,不要求全部运行。
- LAB 01 · 固定表示:标签预算与读出在 Deepnote 打开 ↗
固定CNN与缓存特征、标签预算、kNN/linear和独立评价
- LAB 02 · 参数迁移:冻结、局部与全量微调在 Deepnote 打开 ↗
同源参数的冻结/局部/全量/scratch与BN模式辨析
Lecture 03表示怎样迁移到新任务
配套讲解
- CLS 01 · 学习信号、表示与迁移在 Deepnote 打开 ↗
标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据
- CLS 06 · 表示的三个检查:目标、信息与新域在 Deepnote 打开 ↗
教师软目标、坍塌、任务信息与域变化的三个不同问题
Lecture 03表示怎样迁移到新任务
遇到相应问题时再展开(3 项)
- LAB 18 · XOR:信息保留与线性读出在 Deepnote 打开 ↗
XOR的任务信息/身份信息、离散互信息与线性读出算例
- LAB 19 · 新域:捷径反转与少标签适配在 Deepnote 打开 ↗
源域捷径、目标域反转、少标签适配与同预算scratch
- LAB 21 · 研究收束:让划分对应新样本在 Deepnote 打开 ↗
采集批次泄漏、随机/分组划分、两个基线的实测对照
Lecture 03表示怎样迁移到新任务