Lecture 03从这张教学矩阵,走到真实模型
从这张教学矩阵,走到真实模型
主线阅读与优先实验
caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁
从这张教学矩阵,走到真实模型
上面代码使用三维单位向量和 τ=1,正确概率约 0.5035、平均损失约 0.686192。课堂 P57 使用另一组四维单位向量和 τ=.2,正确概率约 0.90876、损失约 0.09567。两套都是自洽的教学构造;不要把一套的温度、矩阵和另一套的结果拼在一起。
LAB 04 · CLIP:候选、提示与关系检验 固定真实猫图与 CLIP checkpoint,分别扩大候选、改模板和删除正确类别;这是模型证据。LAB 12 · CLIP延伸:缓存与检索(近似索引选读) 使用同一编码器得到的完整向量,继续看缓存与检索。先完成前者再选后者,避免重复做两份“图文匹配”。为什么候选 softmax 会变。