课堂主讲
导读
连续讲稿
补充阅读
问卷作业 ↗
把一次学习完整走通
P17 学习表示机制图,状态 3
P17 学习表示机制图,状态 3
同一输入
视图 a
视图 b
query 编码器
key 编码器
q
k⁺ = k₅
L = −ln p⁺
比较用旧字典
k₁ … k₄
q 与所有候选比较
k⁺ 是本轮正确项
梯度 → θq
EMA
k₅ 入队;k₁ 退队
k₂ k₃ k₄ k₅
下一批的字典
按原文算法 1:更新 query,再平均 key 参数并维护下一批的字典。
查询参数、键参数和字典内容按不同规则改变。 ·
在课堂播放器中查看
一对同源视图、query/key编码、正键与旧字典、损失、query梯度、key EMA和下一批字典在同图逐步接齐。
返回同一状态