## 沿三条实线辨认真正复用的资产 ## 解释、算例与证据 # P66 · 回看这段历史：留下来的不是一个网络名字 回看的是可复用资产，而不是模型名排序。三条公开连接分别复用 MAE 初始化、检测器区域和 CLIP 视觉编码。科研练习再把“迁移”变成具体的新批次评价：任务将来遇到什么条件，决定该怎样切分和选择基线。 图内标签与数值：留下的能力；在新系统中实际复用；视觉表示；MAE 编码器；SAM 的初始化；空间组织；检测器区域特征；ViLBERT 的视觉输入；图文对应；CLIP 视觉编码器；LLaVA 的视觉输入；新的任务仍要定义输出、补上训练关系，并检验它。；实线表示公开方法中的组件复用；共享计算与检索缓存的联系属于教学类比。 MAE到SAM初始化、检测器区域到ViLBERT、CLIP视觉到LLaVA三条公开组件复用关系。 - 留下的能力 - 在新系统中实际复用 - 视觉表示 - MAE 编码器 - SAM 的初始化 - 空间组织 - 检测器区域特征 - ViLBERT 的视觉输入 - 图文对应 - CLIP 视觉编码器 - LLaVA 的视觉输入 - 新的任务仍要定义输出、补上训练关系，并检验它。 - 实线表示公开方法中的组件复用；共享计算与检索缓存的联系属于教学类比。MAE到SAM初始化、检测器区域到ViLBERT、CLIP视觉到LLaVA三条公开组件复用关系。 [查看对应图解状态](/#/l3-r2-p66/0)[查看完整图解](/course/figures/l3-r2-p66-0.html) ## 课堂讲述 现在回头看，从分类迁移到区域，从对比与重建学习到大规模预训练，再到语言参与感知，我们看到的不是一串彼此淘汰的模型名字。 每一阶段都留下了后面能够使用的东西：训练得到的参数、可复用的特征、区域处理方式、数据与评价、软件和实验经验。不同研究组在这些积累上选择新问题，也形成新的合作。后来的多模态模型不是视觉突然失去价值，而是视觉和语言两边的积累有了新的组合方式。 对你们的科研，重要的是能够识别这种组合：现在已经有哪一项能力，新的任务还缺什么关系，怎样训练并检查它。今天的三个问题，就是沿着这条线依次展开的。接下来，我们把“根据条件使用表示”再往前推一步。 ### 三条线怎样汇合：复用的是哪些具体资产 [独立阅读](/course/blocks/technology-reuse-not-replacement.html) 回看第三讲，研究积累不是只剩一串网络名称。第一部分留下能迁移的参数与表示；第二部分留下区域、像素和实例组织；第三部分让文字成为监督、输出和任务条件。新系统复用这些资产，再为尚未建立的关系训练。 P66 的三条实线有具体公开对应：SAM 的图像编码器用 MAE 预训练初始化；ViLBERT 使用检测器提供的区域特征；原始 LLaVA 使用 CLIP 视觉编码器接入语言模型。它们不是“所有新模型都按同一条技术树演化”，而是三种可以指出输入和权重来源的复用。 另有一个计算上的类比：Fast R-CNN 共享图像特征后再服务多个区域，双编码检索缓存图片向量后再服务多个查询。二者都把可复用计算提前，但不能因此声称检测研究直接导致了向量检索。这种区分让类比有教学价值而不伪造历史因果。 对研究实践，关键问题是：已有系统交付哪种输出？新任务还缺什么对应？例如有整图表示后，检测还缺定位和匹配；有视觉和语言编码器后，问答还缺条件使用与回答目标。把缺口说具体，才能知道应该改数据、接口、目标还是评价，而不是一遇到新任务就换更大的模型。 **出处：**[Segment Anything（2023）](https://arxiv.org/abs/2304.02643) · [ViLBERT（2019）](https://arxiv.org/abs/1908.02265) · [原始 LLaVA（论文 v2）](https://arxiv.org/html/2304.08485v2) #### 图示条件与公式约定 三条实线分别对应公开方法中的组件复用：MAE 初始化 SAM 图像编码器，检测器区域特征用于 ViLBERT，CLIP 视觉编码器用于原始 LLaVA。共享计算与检索缓存的联系是教学类比，不代表历史因果。 #### 这条线索的展开与后续阅读 - [哪些能力可以继承，哪些环节还要重新学习？](/supplement.html?return=l3-r2-p66/0#/l3-technology-tree/0) 本页说明 ## 先写未来条件，再比较两种数据划分 资产复用降低起点，却不能代替对新条件的验证；先让预测时会遇到什么变得具体。 ### 把“已有能力可迁移”改写成一个能被检验的研究问题 [独立阅读](/course/blocks/research-question-split-evidence.html) 研究判断需要一个预测时会遇到的新条件。若未来样本来自新采集批次，却随机把同批次样本分到训练和测试，成绩可能主要反映记住批次。LAB21 用透明合成数据把这个问题做成完整对照。 12 个批次各 20 个样本，目标含较弱的观测信号 $0.7x$ 和较强批次偏置。一个基线记训练批次均值，另一个只拟合 $x$ 的线性关系。历史保存结果如下： | 划分 | 训练/测试重叠批次数 | 批次均值 RMSE | x 线性基线 RMSE | | --- | --- | --- | --- | | 随机样本划分 | 12 | 0.7822 | 2.3574 | | 整批次留出 | 0 | 2.1152 | 1.7980 | 随机划分中批次均值很好，不是程序作弊，而是评价问题允许看到同批次历史；新批次任务下这个优势消失。x 基线也没有解释全部目标，因为它缺少未知批次偏置。两张成绩表对应不同预测问题，不能只选更好的一张。 这组数据不是农业实测，不产生现实效应结论。它示范一个有用的研究动作：明确未来条件，选能利用捷径的强基线，再改变切分使解释分叉。下一项可检验改动是把偏置标准差从 3 降到 0，看两种划分的差距是否缩小。已有代码和结果保留，本轮只重新组织阅读与回链。 ## 沿这个问题继续 沿 MAE→SAM、检测器→ViLBERT、CLIP→LLaVA 三条连接辨认实际复用的组件。再为自己的迁移任务写出新条件、数据划分和一个可比较的基线。 #### 到后续课程继续（1） **出处：**[Segment Anything（2023）](https://arxiv.org/abs/2304.02643) · [ViLBERT（2019）](https://arxiv.org/abs/1908.02265) · [原始 LLaVA · 架构与两阶段训练](https://arxiv.org/html/2304.08485v2)