## 把技术史读成尚未接通的问题

四种任务要求不同输出；研究史要比较它们接通了哪条关系。

## 解释、算例与证据

# P50 · 2014—2016：几条准备已久的路线相遇

本页把研究史当作问题史阅读：视觉表示、文字预测和数据已经可用，研究者分别选择描述、局部对应与问答。对照这些工作各自改变了什么、取得了什么结果，再理解研究者为什么继续推进。公开人物背景用于定位当时的研究环境。

[本页独立阅读](/course/pages/l3-r2-p50.html)

图内标签与数值：可复用视觉特征；文字序列预测；图文数据与共同评价；分类预训练；区域表示；已有文字 → 后续文字；可变长度输出；图像—描述；图像—问题—答案；2013；DeViSE；视觉—语义空间；2014；LRCN / Show and Tell；图像描述；2015；区域—句子对齐 / VQA；局部对应与问题条件；2016；DCC；未配对类别的描述；Trevor Darrell；MIT 教职 1999—2008 → Berkeley，2008；R-CNN、FCN、LRCN 的共同作者之一；积累汇合，让新问题可训练：；说出内容 · 对应局部 · 按问题回答；年份标示预印本或会议窗口；技术联系不等于私人动机或单一研究者的谱系。

视觉预训练、文字序列预测与配对数据三条积累进入2013至2016的研究时间带；下方提供Trevor Darrell公开研究背景。

- 可复用视觉特征
- 文字序列预测
- 图文数据与共同评价
- 分类预训练
- 区域表示
- 已有文字 → 后续文字
- 可变长度输出
- 图像—描述
- 图像—问题—答案
- 2013
- DeViSE
- 视觉—语义空间
- 2014
- LRCN / Show and Tell
- 图像描述
- 2015
- 区域—句子对齐 / VQA
- 局部对应与问题条件
- 2016
- DCC
- 未配对类别的描述
- Trevor Darrell
- MIT 教职 1999—2008 → Berkeley，2008
- R-CNN、FCN、LRCN 的共同作者之一
- 积累汇合，让新问题可训练：
- 说出内容 · 对应局部 · 按问题回答
- 年份标示预印本或会议窗口；技术联系不等于私人动机或单一研究者的谱系。视觉预训练、文字序列预测与配对数据三条积累进入2013至2016的研究时间带；下方提供Trevor Darrell公开研究背景。 [查看对应图解状态](/#/l3-r2-p50/0)[查看完整图解](/course/figures/l3-r2-p50-0.html)

### 2014—2016：组件到位后，新的研究问题怎样出现
[独立阅读](/course/blocks/vl-history-convergence.html)
这段历史可以按“哪项能力已经可复用，哪条关系还没有学会”阅读。卷积网络已经能提供视觉特征；文字预测器能组织可变长度输出；图文配对和共同评价数据使不同系统能在同一问题上比较。于是连接视觉与语言开始具有可操作的实验入口。



LRCN 和 Show and Tell 在 2014 年发布预印本、2015 年发表，研究怎样把视觉信息送入文字输出。区域—句子对齐把对应关系细化到局部；VQA 则让问题决定当前要读什么。它们不是同一系统的连续版本，不能画成“描述完成后才有对齐，再完成后才有问答”的单行升级史。



研究进展不仅是多了一种漂亮演示。Show and Tell 在其论文中的 COCO 协议报告 BLEU-4 27.7，并在多个数据集比较描述质量；这个历史结果说明学习图像条件的句子分布能够产出可比较的描述系统。数字属于当时模型与评价协议，不是本课程 Lab 的分数。区域对齐工作又在图文检索和区域描述中展示了局部对应的价值。这里“为什么值得继续研究”的答案，是新接口已经带来可测量的任务能力，随后才能进一步问它遗漏了什么。



Trevor Darrell 是 LRCN 等工作的共同作者，其公开研究涉及视觉感知与语言、人机交互的连接。课程借此展示一条公共研究脉络；个人经历、合作动机或具体对话不由论文作者名单推断。

**出处：**[Show and Tell（2014/2015）](https://arxiv.org/abs/1411.4555) · [LRCN（2014/2015）](https://arxiv.org/abs/1411.4389) · [Deep Visual-Semantic Alignments（2015）](https://arxiv.org/abs/1412.2306) · [Trevor Darrell · Berkeley EECS](https://www2.eecs.berkeley.edu/Faculty/Homepages/darrell.html)
## 沿这个问题继续

沿 2014—2016 年的时间线，比较 caption、区域对齐与 VQA 各自的输入和输出；再到 P51 追踪图像描述的训练目标。

**出处：**[LRCN（2014/2015）](https://arxiv.org/abs/1411.4389) · [Show and Tell（2014/2015）](https://arxiv.org/abs/1411.4555) · [VQA（2015）](https://arxiv.org/abs/1505.00468) · [Trevor Darrell · Berkeley EECS](https://www2.eecs.berkeley.edu/Faculty/Homepages/darrell.html) · [Trevor Darrell · 2008 历史主页](https://people.eecs.berkeley.edu/~trevor/oldindex/index2.html) · [DeViSE（NeurIPS 2013）](https://proceedings.neurips.cc/paper/5204-devise-a-deep-visual-semantic-embedding-model) · [FCN（2014/2015）作者](https://arxiv.org/abs/1411.4038)
## 课堂讲述

2014 到 2016 年是一个适合观察的窗口。视觉端已经有可复用的深度特征，文字端可以组织可变长度的输出，图文数据和共同评价让这些任务能够真正训练和比较。
Berkeley 相关的 LRCN、Google 的 Show and Tell，以及 Stanford 的区域—句子对齐，选择了相近条件下的不同问题：怎么描述、怎么对应局部、怎样把视觉信息送进文字任务。VQA 则把“根据这幅图回答指定问题”明确地组织成研究任务。
这不是图像与语言第一次相遇，也不是一个人给领域起名后大家才开始。它更像几条已有积累到了一起可以做实验的时候。研究者的选择，在于看见哪一个还没有接通的关系，并把它变成能够训练和检验的问题。


#### 图示条件与公式约定

公开背景据 Berkeley EECS 页面及其 2008 年历史主页：Trevor Darrell 在 MIT 任教 1999—2008，2008 年转赴 Berkeley。他是 R-CNN、FCN、LRCN 共同作者之一。这里只陈列公共研究背景，不推断个人动机或具体贡献。时间带中的 2014 使用 LRCN 与 Show and Tell 的预印本年份，会议出版均为 2015。


#### 这条线索的展开与后续阅读

- [视觉、序列模型和数据，怎样汇合成新任务？](/supplement.html?return=l3-r2-p50/0#/l3-vl-history/0) 本页说明
- [描述任务把视觉接到可变长度输出｜怎样检查这项解释](/supplement.html?return=l3-r2-p50/0#/l3-caption-history-evidence/0) 本页说明