Lecture 03同一目标可以采用不同的候选组织
同一目标可以采用不同的候选组织
主线阅读与优先实验
标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据
同一目标可以采用不同的候选组织
SimCLR主要比较当前批的双视图;MoCo把历史key放进字典。前者获得一致的当前编码,后者让候选容量与batch部分解耦,代价是旧特征陈旧性。方法组件可以组合,不是一条“新方法淘汰旧方法”的封闭家谱。
训练路径 x → f → h → g → z → loss 中,损失在z计算,梯度仍经过g回到f。迁移时读取h是另一种接口,而不是保证h保留全部颜色。在 z 上比较,为什么 h 仍会学习? 给出完整构造,已有图像训练给出了一次明确的取舍 给出相反直觉也可能出现的实际读出结果。
想深读此线,只需继续 CLS 05 · 对比学习:视图、投影与历史字典;暂时不必再从所有Notebook目录重新选择。