# 三条线怎样汇合:复用的是哪些具体资产 [独立阅读](/course/blocks/technology-reuse-not-replacement.html)**课堂上下文:从哪个问题来** 回看的是可复用资产,而不是模型名排序。三条公开连接分别复用 MAE 初始化、检测器区域和 CLIP 视觉编码。科研练习再把“迁移”变成具体的新批次评价:任务将来遇到什么条件,决定该怎样切分和选择基线。 回看第三讲,研究积累不是只剩一串网络名称。第一部分留下能迁移的参数与表示;第二部分留下区域、像素和实例组织;第三部分让文字成为监督、输出和任务条件。新系统复用这些资产,再为尚未建立的关系训练。 P66 的三条实线有具体公开对应:SAM 的图像编码器用 MAE 预训练初始化;ViLBERT 使用检测器提供的区域特征;原始 LLaVA 使用 CLIP 视觉编码器接入语言模型。它们不是“所有新模型都按同一条技术树演化”,而是三种可以指出输入和权重来源的复用。 另有一个计算上的类比:Fast R-CNN 共享图像特征后再服务多个区域,双编码检索缓存图片向量后再服务多个查询。二者都把可复用计算提前,但不能因此声称检测研究直接导致了向量检索。这种区分让类比有教学价值而不伪造历史因果。 对研究实践,关键问题是:已有系统交付哪种输出?新任务还缺什么对应?例如有整图表示后,检测还缺定位和匹配;有视觉和语言编码器后,问答还缺条件使用与回答目标。把缺口说具体,才能知道应该改数据、接口、目标还是评价,而不是一遇到新任务就换更大的模型。 图内标签与数值:留下的能力;在新系统中实际复用;视觉表示;MAE 编码器;SAM 的初始化;空间组织;检测器区域特征;ViLBERT 的视觉输入;图文对应;CLIP 视觉编码器;LLaVA 的视觉输入;新的任务仍要定义输出、补上训练关系,并检验它。;实线表示公开方法中的组件复用;共享计算与检索缓存的联系属于教学类比。 三条公开组件复用关系对应具体方法;虚线类比不承担历史因果。 查看对应图解状态 - 留下的能力 - 在新系统中实际复用 - 视觉表示 - MAE 编码器 - SAM 的初始化 - 空间组织 - 检测器区域特征 - ViLBERT 的视觉输入 - 图文对应 - CLIP 视觉编码器 - LLaVA 的视觉输入 - 新的任务仍要定义输出、补上训练关系,并检验它。 - 实线表示公开方法中的组件复用;共享计算与检索缓存的联系属于教学类比。三条公开组件复用关系对应具体方法;虚线类比不承担历史因果。 [查看对应图解状态](/#/l3-r2-p66/0)[查看完整图解](/#/l3-r2-p66/0) **出处:**[Segment Anything(2023)](https://arxiv.org/abs/2304.02643) · [ViLBERT(2019)](https://arxiv.org/abs/1908.02265) · [原始 LLaVA(论文 v2)](https://arxiv.org/html/2304.08485v2) ## 继续阅读与实验