Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示怎样判断表示支持了哪种使用方式?

冻结读出与微调分别在问什么?

独立阅读
课堂上下文:从哪个问题来

把第一部分的方法转为使用与评价:冻结读出问现成表示,微调问适配起点,二者应各有协议。

冻结读出把 fθf_\theta 固定,只学习新头 Wh+bWh+b。它问“当前表示中,答案能否被这个受限读出取出?”kNN甚至不拟合新网络,但仍用训练标签建参考库,并依赖距离、归一化和k。微调允许编码器改变,问“这个起点经过给定适配后能做到什么?”

公平比较首先固定目标任务、原图划分、标签预算和评价规则。按原图先划分再生成视图,避免同一原图的两个裁剪分别进入训练和测试。超参数和停点用验证集选择,测试集用于最终报告。已经看过的保留结果可供探索,却不再是未知验收题。

冻结参数还不自动冻结所有状态。含BatchNorm时,运行统计可能在train模式改变;eval()、no_grad()与requires_grad_(False)控制不同对象。LAB 02保留这项实现选读,主讲先抓住“哪些参数可动,答案用在哪里”。

继续阅读与实验