温度改变什么,不改变什么?
课堂上下文:从哪个问题来
这一页把相似关系变成可优化的概率与损失。分数、温度、softmax和负对数必须能对上同一组数。
固定相似度为 ,第一项是正例。温度1、0.5、0.1时,正例概率分别约0.4506、0.5713、0.9796。排序完全不变,但概率越来越集中。若正例分数低于最强负例,低温度也会更尖锐地放大错误选择。
梯度能解释其作用:,负例为 。温度既改变分母中的尺度,也改变概率。因此“温度越低,梯度越大”并不总成立:正例已经几乎确定时,也会接近零。
把温度调低造成的loss下降,不能当作表示已经改善。温度是训练条件,最终仍用固定读出协议评价。课堂上可以让学生先预测哪一项概率增加,再计算;避免同时改相似度、候选数和温度,使原因无法辨认。