[CLS 03 · 视觉与语言：任务、训练与接口](/course/notebooks/680da245145447dd88983aabd136fd24.html)

# 学习路径： 文字候选与图文检索
[独立阅读](/course/notebook-blocks/009d0db9c9574995bdb7be7a82e66c8d.html)
主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

**学习路径：** [文字候选与图文检索](/course/study/clip-retrieval.html)

同一张图可以配文字、生成描述、回答问题，也可以按短语返回区域。本册把这四种输出放到同一条线上：语言此刻是答案、学习信号，还是任务条件？

| 你想解决的问题 | 先读 | 再做或深读 |
| --- | --- | --- |
| 图像怎样改变一句话或一个答案 | [P51 描述](/course/pages/l3-r2-p51.html)、[P54 问答](/course/pages/l3-r2-p54.html) | [CLS 09](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/c9f328a00ef44ecc90804e47276a7811)，按兴趣选 LAB13 或 LAB14 |
| 图文配对怎样得到可复用表示 | [P57 矩阵](/course/pages/l3-r2-p57.html)、[P58 候选](/course/pages/l3-r2-p58.html) | 优先 [LAB 04](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/0ba963931ddf4866b507b210d93a43bf)；需要图库缓存时再进 LAB12 |
| 一句话指哪个对象，视觉如何接入语言模型 | [P63 定位](/course/pages/l3-r2-p63.html)、[P64 接口](/course/pages/l3-r2-p64.html) | [CLS 11](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/95169c3e298c4c819373bb4534f3dff9)，其中 LAB15 是可复算的关系规则练习 |

读完应能为一个任务说清输入、训练目标、输出和适合的检验；不要求把所有分支顺序运行。本册的矩阵与规则代码是小算例，真实CLIP模型证据在LAB04。最后用[条件多解](/course/blocks/generation-one-condition-many-results.html)连接第四讲；用[研究划分小例](/course/blocks/research-question-split-evidence.html)检验自己的评价是否对应未来场景。