# CLS 03 · 视觉与语言:任务、训练与接口 主线阅读与优先实验 caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁 对应课堂(11 页) 可先阅读已有结果,再决定是否运行。重算时请核对各节记录的数据、参数、环境与日期。 **学习路径:** [文字候选与图文检索](/course/study/clip-retrieval.html) 同一张图可以配文字、生成描述、回答问题,也可以按短语返回区域。本册把这四种输出放到同一条线上:语言此刻是答案、学习信号,还是任务条件? | 你想解决的问题 | 先读 | 再做或深读 | | --- | --- | --- | | 图像怎样改变一句话或一个答案 | [P51 描述](/course/pages/l3-r2-p51.html)、[P54 问答](/course/pages/l3-r2-p54.html) | [CLS 09](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/c9f328a00ef44ecc90804e47276a7811),按兴趣选 LAB13 或 LAB14 | | 图文配对怎样得到可复用表示 | [P57 矩阵](/course/pages/l3-r2-p57.html)、[P58 候选](/course/pages/l3-r2-p58.html) | 优先 [LAB 04](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/0ba963931ddf4866b507b210d93a43bf);需要图库缓存时再进 LAB12 | | 一句话指哪个对象,视觉如何接入语言模型 | [P63 定位](/course/pages/l3-r2-p63.html)、[P64 接口](/course/pages/l3-r2-p64.html) | [CLS 11](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/95169c3e298c4c819373bb4534f3dff9),其中 LAB15 是可复算的关系规则练习 | 读完应能为一个任务说清输入、训练目标、输出和适合的检验;不要求把所有分支顺序运行。本册的矩阵与规则代码是小算例,真实CLIP模型证据在LAB04。最后用[条件多解](/course/blocks/generation-one-condition-many-results.html)连接第四讲;用[研究划分小例](/course/blocks/research-question-split-evidence.html)检验自己的评价是否对应未来场景。 [此段独立阅读](/course/notebook-blocks/009d0db9c9574995bdb7be7a82e66c8d.html) ### 1. 语言可以在同一系统里承担三种作用 [此段独立阅读](/course/notebook-blocks/c13dcb1596e44be4b9e7a5f06c6f04ef.html) 前一部分用框和点指定对象。现在把任务说出来:“描述这张桌面图”“找到红杯”“谁拿着球”。这些句子对系统提出的输出要求不同。 | 语言的作用 | 本部分追问 | 需要建立的接口 | | --- | --- | --- | | 作为输出 | 如何利用图像和已生成词,描述所见? | 视觉表示连接词序列预测 | | 作为学习信号 | 图文配对怎样教会匹配与检索? | 图像与文本进入可比较空间 | | 作为任务条件 | 这句话指哪个区域,或要求回答什么? | 区域—词语对应,或视觉条件下的指令作答 | 这不是互斥的三类系统,也不是后一阶段淘汰前一阶段。一个视觉助手可以使用图文配对学习,用问题指定任务,再生成文字回答。先明确语言此刻的作用,再讨论需要的训练与接口。 [此段独立阅读](/course/notebook-blocks/7ae8158cd82e44c29bd3cc05ccee7103.html) ### 2. 语言作为输出:看图说话怎样接上已有能力? [此段独立阅读](/course/notebook-blocks/8011bff99a6d4beb88ae230911fbb097.html) 图像描述学习 $p(y_t\mid I,y_{