[LAB 07 · MoCo：历史 key、队列与两种更新](/course/notebooks/0d1b8f6fbf6a476c93ffcc169f2ec1f4.html)

# 从概率到字典更新
[独立阅读](/course/notebook-blocks/feb682a46fff4f59a3edf8c6c2b6634a.html)
按问题继续

真实FIFO键、EMA、梯度更新及低于随机基线的保留结果

## 从概率到字典更新

查询 q=(1,0)，归一化后的第一个键最接近它。温度0.1时，其 softmax 概率约0.999939；温度0.5时约0.859767。温度改变的是已有相似度差距在概率中的放大，不会改变此处的键排序。

FIFO 容量4，从 a,b,c,d 入队 e,f 后得到 c,d,e,f。键参数 θk=(0,2)、查询参数 θq=(2,4)，m=0.9 的一次 EMA 是 (0.2,2.2)。EMA 不是把两个模型的输出向量平均，也不是对键编码器额外反向传播。