Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03同一目标可以采用不同的候选组织

同一目标可以采用不同的候选组织

独立阅读

主线阅读与优先实验

标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据

同一目标可以采用不同的候选组织

SimCLR主要比较当前批的双视图;MoCo把历史key放进字典。前者获得一致的当前编码,后者让候选容量与batch部分解耦,代价是旧特征陈旧性。方法组件可以组合,不是一条“新方法淘汰旧方法”的封闭家谱。

训练路径 x → f → h → g → z → loss 中,损失在z计算,梯度仍经过g回到f。迁移时读取h是另一种接口,而不是保证h保留全部颜色。在 z 上比较,为什么 h 仍会学习? 给出完整构造,已有图像训练给出了一次明确的取舍 给出相反直觉也可能出现的实际读出结果。

想深读此线,只需继续 CLS 05 · 对比学习:视图、投影与历史字典;暂时不必再从所有Notebook目录重新选择。