Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03分布变了,源域最方便的线索可能最危险

分布变了,源域最方便的线索可能最危险

独立阅读

按问题继续

教师软目标、坍塌、任务信息与域变化的三个不同问题

分布变了,源域最方便的线索可能最危险

考虑二分类图像:训练环境中,颜色与标签一致率为 90%,形状为 80%;新环境中颜色一致率降到 10%,形状仍为 80%。一个只用颜色的规则在源域期望准确率为 90%、目标域为 10%;只用形状则两域都为 80%。这里没有真正训练网络,因此只能证明规则在指定分布下失效,不能声称已经测得迁移带来的负收益。

要声称负迁移,需要同一目标任务、标签预算、训练和评价划分下,比较源预训练初始化与合理的目标域基线,例如从头训练或其他初始化;若前者更差,差值才是当前协议下的迁移负效应。冻结、局部微调、全量微调允许不同程度改写源线索,不能仅比较训练准确率。若目标标签很少,全量更新还可能把小样本噪声写进整个网络。

随机划分若同时把同一背景、拍摄设备或主体身份分进两侧,可能隐藏域变化。按环境或主体分组的保留集更接近“到新场景使用”的问题;验证集仍须用于选择适配强度,不能看完测试环境再挑出最好的一种方法。D2L:环境与分布偏移 给出这些假设变化的基础讨论。LAB 19 的真实逻辑回归与适配比较(输入为两维解析特征,不是照片)和 LAB 02 的实际参数迁移各承担其中一层证据。

第一条主线到这里形成一个闭环:重建规定要保留什么,对比规定哪些变化要忽略,教师规定向谁靠近,而读出与新域评价检查这些选择是否支持使用。下一册 CLS 07 改变的不是标签供给,而是输出要求:即使整图类别判断正确,网络还要交付对象在哪里。