课堂主讲
导读
连续讲稿
补充阅读
问卷作业 ↗
CLIP 选择的任务:先学哪幅图与哪段话相配
图像编码器
“红衣人拿着篮球,
旁边站着蓝衣人。”
文字编码器
文字 → 向量
比较
训练答案:这一图像与这一段文字配成一对
向量条纹仅标示接口,未作定量含义;CLIP 学习图文匹配,不在此分支生成完整句子。
CLIP 用图文匹配学习表示,使用时留下两个可比较的编码器。 ·
在课堂播放器中查看
图像和文字分别编码成向量,在共享空间比较;图文配对提供训练答案。
返回同一状态