Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 03学习路径: 文字候选与图文检索

学习路径: 文字候选与图文检索

独立阅读

主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

同一张图可以配文字、生成描述、回答问题,也可以按短语返回区域。本册把这四种输出放到同一条线上:语言此刻是答案、学习信号,还是任务条件?

你想解决的问题 先读 再做或深读
图像怎样改变一句话或一个答案 P51 描述、P54 问答 CLS 09,按兴趣选 LAB13 或 LAB14
图文配对怎样得到可复用表示 P57 矩阵、P58 候选 优先 LAB 04;需要图库缓存时再进 LAB12
一句话指哪个对象,视觉如何接入语言模型 P63 定位、P64 接口 CLS 11,其中 LAB15 是可复算的关系规则练习

读完应能为一个任务说清输入、训练目标、输出和适合的检验;不要求把所有分支顺序运行。本册的矩阵与规则代码是小算例,真实CLIP模型证据在LAB04。最后用条件多解连接第四讲;用研究划分小例检验自己的评价是否对应未来场景。