Lecture 03活动 A：一张小矩阵，两种查找方向
活动 A：一张小矩阵，两种查找方向
主线阅读与优先实验
caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁
活动 A：一张小矩阵，两种查找方向
行与列共同使用红杯、蓝杯、书的固定顺序。构造三维单位图像向量为三个坐标轴；对应文字向量在自身轴上取 4、另外两轴上取 1，再除以 √18 归一化。因此下表的每一项都是真正的余弦相似度：对角为 4/√18≈0.9428，非对角为 1/√18≈0.2357。这些向量是教学构造，不是 CLIP 推理输出。
| 红杯描述 | 蓝杯描述 | 书描述 | |
|---|---|---|---|
| 红杯图 | 4/√18 | 1/√18 | 1/√18 |
| 蓝杯图 | 1/√18 | 4/√18 | 1/√18 |
| 书图 | 1/√18 | 1/√18 | 4/√18 |
先将温度设为 τ=1，令 logits=S/τ。先预测： 把蓝杯文字向量对红杯轴的权重从 1 改大并重新归一化，哪张图与哪段文字的正确配对可能变难？运行后分别看行与列的正确配对概率，而不是只看一个总分。
批内未配对不保证语义完全无关，近重复和描述质量都会影响目标。这里先固定对角配对关系，隔离双向损失的计算。
按默认构造计算，行、列方向的正确配对概率均约为 [0.5035, 0.5035, 0.5035]，双向平均损失约 0.686192。这是本页教学向量的确定性计算结果，可先阅读再改条件。