Lecture 03 学习讲义
正文
工具
按问题查找
视觉与语言怎样把可复用能力改写成可检验的科研问题?

沿三条实线辨认真正复用的资产

解释、算例与证据

P66 · 回看这段历史:留下来的不是一个网络名字

回看的是可复用资产,而不是模型名排序。三条公开连接分别复用 MAE 初始化、检测器区域和 CLIP 视觉编码。科研练习再把“迁移”变成具体的新批次评价:任务将来遇到什么条件,决定该怎样切分和选择基线。

留下的能力在新系统中实际复用视觉表示MAE 编码器SAM 的初始化空间组织检测器区域特征ViLBERT 的视觉输入图文对应CLIP 视觉编码器LLaVA 的视觉输入新的任务仍要定义输出、补上训练关系,并检验它。实线表示公开方法中的组件复用;共享计算与检索缓存的联系属于教学类比。

MAE到SAM初始化、检测器区域到ViLBERT、CLIP视觉到LLaVA三条公开组件复用关系。

  • 留下的能力
  • 在新系统中实际复用
  • 视觉表示
  • MAE 编码器
  • SAM 的初始化
  • 空间组织
  • 检测器区域特征
  • ViLBERT 的视觉输入
  • 图文对应
  • CLIP 视觉编码器
  • LLaVA 的视觉输入
  • 新的任务仍要定义输出、补上训练关系,并检验它。
  • 实线表示公开方法中的组件复用;共享计算与检索缓存的联系属于教学类比。
MAE到SAM初始化、检测器区域到ViLBERT、CLIP视觉到LLaVA三条公开组件复用关系。 查看对应图解状态
查看完整图解

课堂讲述

现在回头看,从分类迁移到区域,从对比与重建学习到大规模预训练,再到语言参与感知,我们看到的不是一串彼此淘汰的模型名字。 每一阶段都留下了后面能够使用的东西:训练得到的参数、可复用的特征、区域处理方式、数据与评价、软件和实验经验。不同研究组在这些积累上选择新问题,也形成新的合作。后来的多模态模型不是视觉突然失去价值,而是视觉和语言两边的积累有了新的组合方式。 对你们的科研,重要的是能够识别这种组合:现在已经有哪一项能力,新的任务还缺什么关系,怎样训练并检查它。今天的三个问题,就是沿着这条线依次展开的。接下来,我们把“根据条件使用表示”再往前推一步。

三条线怎样汇合:复用的是哪些具体资产

独立阅读

回看第三讲,研究积累不是只剩一串网络名称。第一部分留下能迁移的参数与表示;第二部分留下区域、像素和实例组织;第三部分让文字成为监督、输出和任务条件。新系统复用这些资产,再为尚未建立的关系训练。

P66 的三条实线有具体公开对应:SAM 的图像编码器用 MAE 预训练初始化;ViLBERT 使用检测器提供的区域特征;原始 LLaVA 使用 CLIP 视觉编码器接入语言模型。它们不是“所有新模型都按同一条技术树演化”,而是三种可以指出输入和权重来源的复用。

另有一个计算上的类比:Fast R-CNN 共享图像特征后再服务多个区域,双编码检索缓存图片向量后再服务多个查询。二者都把可复用计算提前,但不能因此声称检测研究直接导致了向量检索。这种区分让类比有教学价值而不伪造历史因果。

对研究实践,关键问题是:已有系统交付哪种输出?新任务还缺什么对应?例如有整图表示后,检测还缺定位和匹配;有视觉和语言编码器后,问答还缺条件使用与回答目标。把缺口说具体,才能知道应该改数据、接口、目标还是评价,而不是一遇到新任务就换更大的模型。

图示条件与公式约定

三条实线分别对应公开方法中的组件复用:MAE 初始化 SAM 图像编码器,检测器区域特征用于 ViLBERT,CLIP 视觉编码器用于原始 LLaVA。共享计算与检索缓存的联系是教学类比,不代表历史因果。

这条线索的展开与后续阅读

视觉与语言怎样把可复用能力改写成可检验的科研问题?

先写未来条件,再比较两种数据划分

资产复用降低起点,却不能代替对新条件的验证;先让预测时会遇到什么变得具体。

把“已有能力可迁移”改写成一个能被检验的研究问题

独立阅读

研究判断需要一个预测时会遇到的新条件。若未来样本来自新采集批次,却随机把同批次样本分到训练和测试,成绩可能主要反映记住批次。LAB21 用透明合成数据把这个问题做成完整对照。

12 个批次各 20 个样本,目标含较弱的观测信号 0.7x0.7x 和较强批次偏置。一个基线记训练批次均值,另一个只拟合 xx 的线性关系。历史保存结果如下:

划分 训练/测试重叠批次数 批次均值 RMSE x 线性基线 RMSE
随机样本划分 12 0.7822 2.3574
整批次留出 0 2.1152 1.7980

随机划分中批次均值很好,不是程序作弊,而是评价问题允许看到同批次历史;新批次任务下这个优势消失。x 基线也没有解释全部目标,因为它缺少未知批次偏置。两张成绩表对应不同预测问题,不能只选更好的一张。

这组数据不是农业实测,不产生现实效应结论。它示范一个有用的研究动作:明确未来条件,选能利用捷径的强基线,再改变切分使解释分叉。下一项可检验改动是把偏置标准差从 3 降到 0,看两种划分的差距是否缩小。已有代码和结果保留,本轮只重新组织阅读与回链。

沿这个问题继续

沿 MAE→SAM、检测器→ViLBERT、CLIP→LLaVA 三条连接辨认实际复用的组件。再为自己的迁移任务写出新条件、数据划分和一个可比较的基线。

到后续课程继续(1)