课堂主讲
导读
连续讲稿
补充阅读
问卷作业 ↗
图像描述:视觉内容怎样成为一句话?
视觉编码器
图像 → 特征
两条合理描述
“两个人站在一起。”
“红衣人拿着篮球。”
文字预测器
允许看到的前文 + 视觉
红衣人 拿着
球
下一个目标
图文配对给出文字目标;页面展示训练接口与参考描述,没有展示模型生成结果。
文字目标来自图文配对;同一图像可以有多条合理描述。 ·
在课堂播放器中查看
图像先编码为视觉特征;视觉条件与已有文字一起进入文字预测器,前文从红衣人推进到红衣人拿着。
返回同一状态