# 三对图文的双向损失：从单位向量到 0.09567
[独立阅读](/course/blocks/clip-matrix-worked.html)**课堂上下文：从哪个问题来**
这页的数字能从单位向量完全复算：矩阵不是模型实测成绩。先看一行的三个竞争候选，再看一列，最后对两种方向取平均。温度改变 logits 和概率，不改变原始余弦本身。真实 CLIP 的结果需读取相应模型输出，不能沿用这里的教学数值。


P57 的矩阵是可实现的教学算例，不是真实 CLIP 输出。图像向量取四维空间前三个单位基 $e_1,e_2,e_3$；文字向量为 $(.8,0,.3,\sqrt{.27})$、$(.3,.8,0,\sqrt{.27})$、$(0,.3,.8,\sqrt{.27})$。每个文字向量的模平方是 $.64+.09+.27=1$，所以点积确实是余弦。



$S=\begin{bmatrix}.8&.3&0\\0&.8&.3\\.3&0&.8\end{bmatrix}.$



行表示图找文字，列表示文字找图。当前排序让正确配对位于对角线。取温度 $\tau=.2$，第一行 logits 为 $(4,1.5,0)$，正确配对概率为



$p_{11}=\frac{e^4}{e^4+e^{1.5}+1}=0.9087599243,\qquad -\log p_{11}=0.0956743294.$



第一列只是将两个负项换序，概率不变；其他行列同理。双向平均损失为 $L=(L_{I\to T}+L_{T\to I})/2=0.0956743294$。一般情况下每行每列并不同分，必须分别计算，不能从一个最好看的单元格推总损失。



优化关注正确配对相对于其他候选的概率，不是要求每个正样本点积都变成任意大的数。单位向量点积本身受限于 $[-1,1]$，温度缩放改变 softmax 的区分程度。更换批次会更换竞争候选；两段都适合狗图的文字也可能在配对表里互为负项，因此学习目标与语义真值并不完全重合。



图内标签与数值：单位向量点积 Sᵢⱼ；教学构造；I1；T1；红杯；I2；T2；蓝杯；I3；T3；人物；0.8；0.3；0.0；0.0；0.8；0.3；0.3；0.0；0.8；文字找图像 ↓；τ = 0.2；第一列 logits：4, 0, 1.5；p(正确配对) ≈ 0.909；−log p ≈ 0.0957；行目标 + 列目标；在批次中辨认配对；对角线来自配对顺序；数值是由明确单位向量构造的教学矩阵，不是 CLIP 实测分数。

矩阵、温度、行列概率使用同一组数值；每个对角概率约为 0.909。 查看对应图解状态

- 单位向量点积 Sᵢⱼ；教学构造
- I1
- T1
- 红杯
- I2
- T2
- 蓝杯
- I3
- T3
- 人物
- 0.8
- 0.3
- 0.0
- 0.0
- 0.8
- 0.3
- 0.3
- 0.0
- 0.8
- 文字找图像 ↓
- τ = 0.2
- 第一列 logits：4, 0, 1.5
- p(正确配对) ≈ 0.909
- −log p ≈ 0.0957
- 行目标 + 列目标
- 在批次中辨认配对
- 对角线来自配对顺序；数值是由明确单位向量构造的教学矩阵，不是 CLIP 实测分数。矩阵、温度、行列概率使用同一组数值；每个对角概率约为 0.909。 [查看对应图解状态](/#/l3-r2-p57/1)[查看完整图解](/#/l3-r2-p57/1)
**出处：**[CLIP（ICML 2021）](https://proceedings.mlr.press/v139/radford21a.html)
## 继续阅读与实验