# ViLBERT：把已有区域和文字表示变成可迁移的联合起点
[独立阅读](/course/blocks/vilbert-components-and-transfer.html)**课堂上下文：从哪个问题来**
ViLBERT 让前面两部分的积累变得具体：检测器提供区域表示，语言预训练提供文字表示，新的预训练目标学习二者怎样共同服务任务。读本页不需要展开 attention；重点是指出可复用组件、尚未学会的对应以及跨任务迁移的研究证据。


第二部分的检测器不只留下“这里有杯子”的类别输出，也能留下每个候选区域的特征。语言预训练同样留下文字表示。ViLBERT 将两侧的已有能力接入跨模态预训练，再适配问答、指代表达、常识推理与图文检索等任务。



为什么不直接拼起来就结束？设区域向量来自检测器、词向量来自文字模型。两个向量长度可以相同，但相同坐标号并不自动代表同一种语义。跨模态目标要学习哪些局部与哪些文字对应、哪些信息可以共同预测。维度匹配只让计算合法，训练才使这条关系有任务含义。



原论文通过代理预训练任务学习联合表示，再对四类视觉语言任务做少量结构增补与任务适配，报告了相对当时任务专用模型的改善。它支持的研究方向是：区域—语言对应可以成为预训练并迁移的能力，未必每个下游任务都从头建立全部对应关系。这里保留这一正面进展，不展开内部注意力实现。



阅读图时注意“可复用”有两个尺度：检测器区域特征作为输入被复用，跨模态预训练后的表示又被多个任务复用。二者都不是说下游无需目标数据或评价。若关心小字、细小对象或未被候选器提出的区域，首先还要检查最前面的视觉输入是否已经丢失所需证据。



图内标签与数值：区域视觉输入；检测器留下的区域特征；语言输入；“红衣人拿着球”；预训练的文字表示；ViLBERT · 2019；跨模态目标学习对应；图文匹配；遮挡内容预测；适配问答与检索等任务；检测器区域特征与预训练语言表示是实际组件来源；此页仅呈现模块接口。

两类预训练组件汇入新任务；连线表示可复用接口，并不表示无需跨模态学习。 查看对应图解状态

- 区域视觉输入
- 检测器留下的区域特征
- 语言输入
- “红衣人拿着球”
- 预训练的文字表示
- ViLBERT · 2019
- 跨模态目标学习对应
- 图文匹配
- 遮挡内容预测
- 适配问答与检索等任务
- 检测器区域特征与预训练语言表示是实际组件来源；此页仅呈现模块接口。两类预训练组件汇入新任务；连线表示可复用接口，并不表示无需跨模态学习。 [查看对应图解状态](/#/l3-r2-p55/0)[查看完整图解](/#/l3-r2-p55/0)
**出处：**[ViLBERT（2019）](https://arxiv.org/abs/1908.02265)
## 继续阅读与实验