P57 · 一张相似度矩阵，连接训练和使用

P57 的矩阵是可实现的教学算例，不是真实 CLIP 输出。图像向量取四维空间前三个单位基 $e_1,e_2,e_3$；文字向量为 $(.8,0,.3,\sqrt{.27})$、$(.3,.8,0,\sqrt{.27})$、$(0,.3,.8,\sqrt{.27})$。每个文字向量的模平方是 $.64+.09+.27=1$，所以点积确实是余弦。

$$S=\begin{bmatrix}.8&.3&0\\0&.8&.3\\.3&0&.8\end{bmatrix}.$$

行表示图找文字，列表示文字找图。当前排序让正确配对位于对角线。取温度 $\tau=.2$，第一行 logits 为 $(4,1.5,0)$，正确配对概率为

$$p_{11}=\frac{e^4}{e^4+e^{1.5}+1}=0.9087599243,\qquad -\log p_{11}=0.0956743294.$$

第一列只是将两个负项换序，概率不变；其他行列同理。双向平均损失为 $L=(L_{I\to T}+L_{T\to I})/2=0.0956743294$。一般情况下每行每列并不同分，必须分别计算，不能从一个最好看的单元格推总损失。

优化关注正确配对相对于其他候选的概率，不是要求每个正样本点积都变成任意大的数。单位向量点积本身受限于 $[-1,1]$，温度缩放改变 softmax 的区分程度。更换批次会更换竞争候选；两段都适合狗图的文字也可能在配对表里互为负项，因此学习目标与语义真值并不完全重合。