把对比损失算成一道选择题
课堂上下文:从哪个问题来
这一页把相似关系变成可优化的概率与损失。分数、温度、softmax和负对数必须能对上同一组数。
设查询的三个候选logit为2、1、0,第一项是已知正例。这些是温度缩放后的分数,不是三个原始余弦值。softmax分母为 ,概率约为 ,正例损失 。
一般式为 ,分母包含正例。提高正例相对分数会降低损失;把所有分数同时加一个常数不会改变概率,所以目标关注相对选择而非绝对分数大。
实际训练中分数由图像经编码器算出,损失反传到参数。手算这一行只解释目标,不是模型实验。接到LAB 07时,应沿真实图像→两视图→向量→logit→loss→参数变化逐项找到对应对象。
三个logit经过softmax,正例概率对应负对数损失。 查看对应图解状态
- 三候选教学算例 · 指定第 1 项为正例
- 相似度 s
- 除以温度 τ = 0.5
- 归一化概率 p
- k⁺
- 1
- 2
- 0.665
- k₁
- 0.5
- 1
- 0.245
- k₂
- 0
- 0
- 0.090
- pⱼ = exp(sⱼ / τ) / Σₗ exp(sₗ / τ)
- L = −ln p⁺ = 0.408