[CLS 03 · 视觉与语言：任务、训练与接口](/course/notebooks/680da245145447dd88983aabd136fd24.html)

# 活动 A：一张小矩阵，两种查找方向
[独立阅读](/course/notebook-blocks/66b6304ea0cf47dd9c5bb009263057ab.html)
主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

### 活动 A：一张小矩阵，两种查找方向

行与列共同使用红杯、蓝杯、书的固定顺序。构造三维单位图像向量为三个坐标轴；对应文字向量在自身轴上取 4、另外两轴上取 1，再除以 √18 归一化。因此下表的每一项都是真正的余弦相似度：对角为 4/√18≈0.9428，非对角为 1/√18≈0.2357。这些向量是教学构造，不是 CLIP 推理输出。

|  | 红杯描述 | 蓝杯描述 | 书描述 |
| --- | --- | --- | --- |
| 红杯图 | 4/√18 | 1/√18 | 1/√18 |
| 蓝杯图 | 1/√18 | 4/√18 | 1/√18 |
| 书图 | 1/√18 | 1/√18 | 4/√18 |

先将温度设为 τ=1，令 logits=S/τ。**先预测：** 把蓝杯文字向量对红杯轴的权重从 1 改大并重新归一化，哪张图与哪段文字的正确配对可能变难？运行后分别看行与列的正确配对概率，而不是只看一个总分。

批内未配对不保证语义完全无关，近重复和描述质量都会影响目标。这里先固定对角配对关系，隔离双向损失的计算。

按默认构造计算，行、列方向的正确配对概率均约为 `[0.5035, 0.5035, 0.5035]`，双向平均损失约 `0.686192`。这是本页教学向量的确定性计算结果，可先阅读再改条件。