课堂主讲
导读
连续讲稿
补充阅读
问卷作业 ↗
区域表示与语言预训练,有了可连接的部件
区域视觉输入
检测器留下的区域特征
语言输入
“红衣人拿着球”
预训练的文字表示
ViLBERT · 2019
跨模态目标学习对应
图文匹配
遮挡内容预测
适配问答与检索等任务
检测器区域特征与预训练语言表示是实际组件来源;此页仅呈现模块接口。
检测器区域特征与语言预训练可以成为新任务的起点。 ·
在课堂播放器中查看
左侧检测器区域特征、右侧预训练语言表示,进入ViLBERT的跨模态目标,再适配问答或检索。
返回同一状态