三条线怎样汇合:复用的是哪些具体资产
课堂上下文:从哪个问题来
回看的是可复用资产,而不是模型名排序。三条公开连接分别复用 MAE 初始化、检测器区域和 CLIP 视觉编码。科研练习再把“迁移”变成具体的新批次评价:任务将来遇到什么条件,决定该怎样切分和选择基线。
回看第三讲,研究积累不是只剩一串网络名称。第一部分留下能迁移的参数与表示;第二部分留下区域、像素和实例组织;第三部分让文字成为监督、输出和任务条件。新系统复用这些资产,再为尚未建立的关系训练。
P66 的三条实线有具体公开对应:SAM 的图像编码器用 MAE 预训练初始化;ViLBERT 使用检测器提供的区域特征;原始 LLaVA 使用 CLIP 视觉编码器接入语言模型。它们不是“所有新模型都按同一条技术树演化”,而是三种可以指出输入和权重来源的复用。
另有一个计算上的类比:Fast R-CNN 共享图像特征后再服务多个区域,双编码检索缓存图片向量后再服务多个查询。二者都把可复用计算提前,但不能因此声称检测研究直接导致了向量检索。这种区分让类比有教学价值而不伪造历史因果。
对研究实践,关键问题是:已有系统交付哪种输出?新任务还缺什么对应?例如有整图表示后,检测还缺定位和匹配;有视觉和语言编码器后,问答还缺条件使用与回答目标。把缺口说具体,才能知道应该改数据、接口、目标还是评价,而不是一遇到新任务就换更大的模型。
三条公开组件复用关系对应具体方法;虚线类比不承担历史因果。 查看对应图解状态
- 留下的能力
- 在新系统中实际复用
- 视觉表示
- MAE 编码器
- SAM 的初始化
- 空间组织
- 检测器区域特征
- ViLBERT 的视觉输入
- 图文对应
- CLIP 视觉编码器
- LLaVA 的视觉输入
- 新的任务仍要定义输出、补上训练关系,并检验它。
- 实线表示公开方法中的组件复用;共享计算与检索缓存的联系属于教学类比。