LAB 04 · CLIP：候选、提示与关系检验

预处理和两条编码支路到底做了什么？

主线阅读与优先实验

真实CLIP输入/权重/分数、候选改动、四条件规则与独立关系推理

预处理和两条编码支路到底做了什么？

图像先转 RGB，以 bicubic 将短边缩放至 224，再中心裁剪为 224×224，使用 checkpoint 指定的均值和标准差归一化。文本用固定 CLIPTokenizerFast 产生 token IDs、起止标记和 padding；本例短句没有超过 77-token 上限。图像批次是 [B,3,224,224]，文字批次是 [Q,L]，两个编码器的输出均投影为 512 维。它们随后分别除以 L2 范数；这一步之后点积才等于 cosine。

设图像、文字特征为 $v_i,t_j$，归一化后的分数为 $s_{ij}=v_i^\top t_j$。候选内分布 $p(j|i,\mathcal C)=\exp(\alpha s_{ij})/\sum_{k\in\mathcal C}\exp(\alpha s_{ik})$ 还需要固定模型的 $\alpha$，本 checkpoint 为约 100。A→B 改变分母，A→C 改变 token 和文本特征；B→D 删除了正确答案。三种干预不能混为“模型概率变了”。

候选 softmax 既没有估计候选之外的类别，也没有做概率校准。D 的 tiger 为 0.7174，只说明它在删去 cat 后的四个选项里分数最高；不能推出照片有 71.74% 的概率是一只老虎。图搜文是固定图片对多条文字排序，文搜图是固定文字对多张图片排序；两个方向使用同一相似度矩阵的不同维度，都不生成一个新句子。caption 需要逐词条件分布和解码器，详见 LAB 13。