两个编码器,不同的更新方式

P16 学习表示机制图,状态 2P16 学习表示机制图,状态 2查询视图查询编码器 θqq对比损失键视图键编码器 θkk⁺梯度更新键分支停止梯度参数 EMAθk ← m θk + (1−m) θq0.9 × 1 + 0.1 × 2 = 1.1这里的平均对象是网络参数;m = 0.9 仅用于教学算例。
0.9 × 1 + 0.1 × 2 = 1.1;旧键向量不会被刷新。 · 在课堂播放器中查看

query分支接受损失梯度,key分支停止梯度且参数由EMA跟随;算例0.9×1+0.1×2=1.1。

返回同一状态