[LAB 04 · CLIP：候选、提示与关系检验](/course/notebooks/0ba963931ddf4866b507b210d93a43bf.html)

# 预处理和两条编码支路到底做了什么？
[独立阅读](/course/notebook-blocks/e8d09daa81304bbebf6af1b6be1d73f0.html)
主线阅读与优先实验

真实CLIP输入/权重/分数、候选改动、四条件规则与独立关系推理

### 预处理和两条编码支路到底做了什么？

图像先转 RGB，以 bicubic 将短边缩放至 224，再中心裁剪为 224×224，使用 checkpoint 指定的均值和标准差归一化。文本用固定 `CLIPTokenizerFast` 产生 token IDs、起止标记和 padding；本例短句没有超过 77-token 上限。图像批次是 `[B,3,224,224]`，文字批次是 `[Q,L]`，两个编码器的输出均投影为 512 维。它们随后分别除以 L2 范数；这一步之后点积才等于 cosine。

设图像、文字特征为 $v_i,t_j$，归一化后的分数为 $s_{ij}=v_i^\top t_j$。候选内分布 $p(j|i,\mathcal C)=\exp(\alpha s_{ij})/\sum_{k\in\mathcal C}\exp(\alpha s_{ik})$ 还需要固定模型的 $\alpha$，本 checkpoint 为约 100。A→B 改变分母，A→C 改变 token 和文本特征；B→D 删除了正确答案。三种干预不能混为“模型概率变了”。

候选 softmax 既没有估计候选之外的类别，也没有做概率校准。D 的 tiger 为 0.7174，只说明它在删去 cat 后的四个选项里分数最高；不能推出照片有 71.74% 的概率是一只老虎。图搜文是固定图片对多条文字排序，文搜图是固定文字对多张图片排序；两个方向使用同一相似度矩阵的不同维度，都不生成一个新句子。caption 需要逐词条件分布和解码器，详见 LAB 13。