课堂主讲
导读
连续讲稿
补充阅读
问卷作业 ↗
两个编码器,不同的更新方式
P16 学习表示机制图,状态 2
P16 学习表示机制图,状态 2
查询视图
查询编码器 θq
q
对比损失
键视图
键编码器 θk
k⁺
梯度更新
键分支停止梯度
参数 EMA
θk ← m θk + (1−m) θq
0.9 × 1 + 0.1 × 2 = 1.1
这里的平均对象是网络参数;m = 0.9 仅用于教学算例。
0.9 × 1 + 0.1 × 2 = 1.1;旧键向量不会被刷新。 ·
在课堂播放器中查看
query分支接受损失梯度,key分支停止梯度且参数由EMA跟随;算例0.9×1+0.1×2=1.1。
返回同一状态