CLIP 选择的任务:先学哪幅图与哪段话相配

图像编码器“红衣人拿着篮球,旁边站着蓝衣人。”文字编码器文字 → 向量比较训练答案:这一图像与这一段文字配成一对向量条纹仅标示接口,未作定量含义;CLIP 学习图文匹配,不在此分支生成完整句子。
CLIP 用图文匹配学习表示,使用时留下两个可比较的编码器。 · 在课堂播放器中查看

图像和文字分别编码成向量,在共享空间比较;图文配对提供训练答案。

返回同一状态