Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?

把对比损失算成一道选择题

独立阅读
课堂上下文:从哪个问题来

这一页把相似关系变成可优化的概率与损失。分数、温度、softmax和负对数必须能对上同一组数。

设查询的三个候选logit为2、1、0,第一项是已知正例。这些是温度缩放后的分数,不是三个原始余弦值。softmax分母为 e2+e1+e0≈11.107e^2+e^1+e^0\approx11.107,概率约为 (0.6652,0.2447,0.0900)(0.6652,0.2447,0.0900),正例损失 −ln⁡0.6652≈0.4076-\ln0.6652\approx0.4076。

一般式为 L=−log⁡{exp⁡(s+/τ)/∑jexp⁡(sj/τ)}L=-\log\{\exp(s_+/\tau)/\sum_j\exp(s_j/\tau)\},分母包含正例。提高正例相对分数会降低损失;把所有分数同时加一个常数不会改变概率,所以目标关注相对选择而非绝对分数大。

实际训练中分数由图像经编码器算出,损失反传到参数。手算这一行只解释目标,不是模型实验。接到LAB 07时,应沿真实图像→两视图→向量→logit→loss→参数变化逐项找到对应对象。

P10 学习表示机制图,状态 2P10 学习表示机制图,状态 2三候选教学算例 · 指定第 1 项为正例相似度 s除以温度 τ = 0.5归一化概率 pk⁺120.665k₁0.510.245k₂000.090pⱼ = exp(sⱼ / τ) / Σₗ exp(sₗ / τ)L = −ln p⁺ = 0.408

三个logit经过softmax,正例概率对应负对数损失。 查看对应图解状态

  • 三候选教学算例 · 指定第 1 项为正例
  • 相似度 s
  • 除以温度 τ = 0.5
  • 归一化概率 p
  • k⁺
  • 1
  • 2
  • 0.665
  • k₁
  • 0.5
  • 1
  • 0.245
  • k₂
  • 0
  • 0
  • 0.090
  • pⱼ = exp(sⱼ / τ) / Σₗ exp(sₗ / τ)
  • L = −ln p⁺ = 0.408
三个logit经过softmax,正例概率对应负对数损失。 查看对应图解状态
查看完整图解

继续阅读与实验