图像描述:视觉内容怎样成为一句话?

视觉编码器图像 → 特征两条合理描述“两个人站在一起。”“红衣人拿着篮球。”文字预测器允许看到的前文 + 视觉红衣人 拿着球下一个目标图文配对给出文字目标;页面展示训练接口与参考描述,没有展示模型生成结果。
文字目标来自图文配对;同一图像可以有多条合理描述。 · 在课堂播放器中查看

图像先编码为视觉特征;视觉条件与已有文字一起进入文字预测器,前文从红衣人推进到红衣人拿着。

返回同一状态