# 选读：省搜索和增加图文交互，是不同方向

后续课程预备或按需选读，不列为本讲必讲内容。
[独立阅读](/course/blocks/retrieval-approximation-and-interaction.html)**课堂上下文：从哪个问题来**
检索把同一个比较空间用于一组已有图片。图库向量可复用，查询只需编码一次再搜索；页面前三张结果来自已有真实缓存。工作量、相关性指标和近似索引在说明与 LAB12 中展开；检索系统的进一步组织留待第八讲。


这部分服务于第八讲的检索预备阅读，不是 P59 必须讲完的技术章。LAB12 的 IVF-Flat 先把图库分成 8 个簇，查询只打开 `nprobe` 个最近簇，再对桶内原向量精确打分。近似出现在没有打开的桶；把所有 8 个桶打开应恢复 exact 排名。



2026-09-22 保存的本地结果中，nprobe=1 平均扫描 4.17 个图像向量，exact 扫描 24 个；但整批 12 查询中位耗时为约 0.1016 ms 与 0.0456 ms。小库矩阵乘法已经很便宜，Python 路由和排序成本反而更大。扫描更少不等于实测更快。计时排除模型编码、磁盘读取和建索引。



另一个方向是让查询参与局部交互。缓存左右区域向量 $r_j$，对查询 $q$ 计算 $u_j=q^Tr_j$、$w_j=\mathrm{softmax}(u_j/.05)$，再汇总 $\sum_j w_ju_j$。猫查询可提高猫区域权重，宇航员查询可提高宇航员区域权重；但这个聚合对区域顺序不敏感，交换左右后总分不变。多向量并不自动保存关系。



逐对重复调用独立 CLIP 编码器仍是 $f(I)^Tg(T)$，不因此变成交叉编码。联合模型把图文在内部相互条件化，通常需要更多查询相关计算。可用双编码先召回，再少量重排；要判断收益，需要固定检索库、查询和评价协议。这些机制在现有 LAB12 保留为选做，不在主讲另开一章。


## 继续阅读与实验