检索为什么能缓存：每张图编码一次，查询再比较

设图库有 $N$ 张图，收到 $Q$ 条文字查询。双编码器的图像输出不依赖当前查询，所以可以先计算图库矩阵 $V\in\mathbb R^{N\times d}$，查询到来时只计算文字向量 $u$，再用 $Vu$ 得分。这把“理解输入的深度编码”和“在现有表示中比较”分成两段。

若每个图文对都重新分别编码，需 $NQ$ 次图片样本编码和 $NQ$ 次文字样本编码；有缓存则是 $N+Q$。本课程 $N=24,Q=12$，两者为 576 与 36 次样本编码。它是解析工作量，不是秒数；一个批次调用可以同时编码多个样本。

缓存并没有消除搜索本身。exact 查询仍要与全部 $N$ 向量做点积；float32 图库矩阵占 $4Nd$ 字节。本例 $24\times512\times4=49,152$ 字节，不含图片、模型、ID 与索引。改变 checkpoint、预处理或图片内容需要重建对应缓存；只新增文字候选不改变旧图片向量。

P59 使用已有 24 项缓存显示猫查询的前三项：chelsea-center90、chelsea-full、chelsea-right90。24 项其实来自六张照片的四种相关裁剪，不能当成 24 张独立语义样本。它足以观察排名与缓存复用；更大的索引工程属于第八讲和 LAB12 的选读部分。