学习信号与表示视图关系怎样成为学习目标,又会牺牲什么?
P11 · 为什么不能把所有图片都映射成同一个向量?
先代入常量函数检查目标的平凡解,说明仅有一致性不够,也为教师方法留下合理选读入口。
坍塌表示的三候选均分1/3与可区分候选并排,损失ln3约1.099对比0.408。 查看对应图解状态查看完整图解 一个看似省事的办法是:所有输入都输出同一个向量。这样同图的两个视图当然相同,但任何其他图也相同,模型已经没有办法选择对应项。
在这个三候选算例中,所有分数相同,正确项只有三分之一的概率,损失约为 1.099;能区分对应关系时,损失可以更低。这个比较解释了为什么单纯要求“两视图一样”不够,而带有区分任务的目标还提出了另一项要求。
不要由此推成“只要有负例,训练就一定成功”。我们现在只是看见平凡表示为什么不能很好完成这个选择任务。没有负例的方法怎样避免坍塌,是另一组设计问题,已经保留在补充材料,今天不再展开一套教师网络。
若只最小化两视图间距离,f(x)=c 对任何图都输出同一向量,配对距离就是零。它满足一致性,却让杯子与书无法区分。加入候选竞争后,如果所有单位向量相同,各候选得分也相同,K个候选的正例概率只能是1/K,损失是 lnK;例如三项时约1.099。
这说明对比目标没有把“全部一样”当成一个好的区分结果。但仅凭这个算例,不应宣布任何网络或优化过程都不可能停在退化状态。真正检查还包括样本间方差、表示秩以及下游读出。
没有显式负例的方法也能成功:它们组合教师目标、预测器、停止梯度和分布处理等设计。下面的教师补充块解释这些组件各自负责什么,不把一条EMA箭头当成防坍塌的充分证明。
三候选同分:p+=1/3,L=ln3=1.0986122887。图上的向量与条形为机制示意,没有训练曲线或成功保证。