ViLBERT：把已有区域和文字表示变成可迁移的联合起点

第二部分的检测器不只留下“这里有杯子”的类别输出，也能留下每个候选区域的特征。语言预训练同样留下文字表示。ViLBERT 将两侧的已有能力接入跨模态预训练，再适配问答、指代表达、常识推理与图文检索等任务。

为什么不直接拼起来就结束？设区域向量来自检测器、词向量来自文字模型。两个向量长度可以相同，但相同坐标号并不自动代表同一种语义。跨模态目标要学习哪些局部与哪些文字对应、哪些信息可以共同预测。维度匹配只让计算合法，训练才使这条关系有任务含义。

原论文通过代理预训练任务学习联合表示，再对四类视觉语言任务做少量结构增补与任务适配，报告了相对当时任务专用模型的改善。它支持的研究方向是：区域—语言对应可以成为预训练并迁移的能力，未必每个下游任务都从头建立全部对应关系。这里保留这一正面进展，不展开内部注意力实现。

阅读图时注意“可复用”有两个尺度：检测器区域特征作为输入被复用，跨模态预训练后的表示又被多个任务复用。二者都不是说下游无需目标数据或评价。若关心小字、细小对象或未被候选器提出的区域，首先还要检查最前面的视觉输入是否已经丢失所需证据。