## 分开预训练起点、任务学习与使用时复用 ## 解释、算例与证据 # P47 · 可复用表示，还要经过任务训练 把三个阶段分开：MAE 初始化视觉编码器，提示式 mask 训练建立任务能力，使用时缓存同图表示。具体训练目标和数据组织使提示能够起作用；这座桥把第一部分的表示来源与第二部分的空间接口连接起来。 图内标签与数值：Lecture 03 课堂图解 P47；训练：初始化 ≠ 完整分割能力；MAE 预训练；提供图像编码器起点；分割任务训练；SA-1B 掩码 + 提示监督；SAM；图像 / 提示 / 掩码模块；使用：图像编码可复用；图像表示；新点提示 → 一个掩码；新框提示 → 另一个掩码 上层 MAE 初始化到 SA-1B 掩码和提示任务训练；下层一次图像表示服务多个提示。 - 训练：初始化 ≠ 完整分割能力 - MAE 预训练 - 提供图像编码器起点 - 分割任务训练 - SA-1B 掩码 + 提示监督 - SAM - 图像 / 提示 / 掩码模块 - 使用：图像编码可复用 - 图像表示 - 新点提示 → 一个掩码 - 新框提示 → 另一个掩码上层 MAE 初始化到 SA-1B 掩码和提示任务训练；下层一次图像表示服务多个提示。 [查看对应图解状态](/#/l3-r2-p47/0)[查看完整图解](/course/figures/l3-r2-p47-0.html) ## 课堂讲述 SAM 给我们一个很清楚的连接：原始方案的图像编码器使用 MAE 预训练初始化，但分割能力还依赖后续的大规模掩码数据与任务训练。 所以不能说“MAE 会补图，于是自然就会 Segment Anything”。预训练提供起点，分割训练学习提示与区域之间的关系，使用时再复用图像编码来处理不同提示。 至此，两条主线在同一个系统里接上了：第一部分回答表示怎样学，第二部分回答它怎样被适配成空间能力。下一步，提示能不能不只是点和框，而是“书左边的红杯”这样的自然语言？要做成这件事，我们又需要新的对应关系。 ### MAE 提供起点，掩码任务训练学会怎样响应提示 [独立阅读](/course/blocks/sam-task-training.html) 原始 SAM 的图像编码器使用 MAE 预训练初始化。这连接了第一部分的表示学习，但“遮挡重建”目标并没有直接提供“某个正点应对应哪个对象 mask”的全部监督。后续还要进行提示式分割训练。 训练样本包含图像、目标 mask 与模拟提示。模型预测后，可以从错误区域追加正点或负点，再要求它修正；原论文训练模拟每个 mask 的多轮交互，掩码损失组合 focal 与 dice。这样，推理时的“改点、改框”对应训练中学过的任务，而不是凭空获得一个通用按钮。 数据组织也属于能力来源。SA-1B 来自模型辅助标注、半自动补充、全自动生成的逐步演进，最终收集约 1100 万张图像与 11 亿个 mask。这里的数据单位是区域轮廓，并非现成的图文语句对。 预训练参数、任务监督和使用接口可以分别复用：先以自监督表示为起点，再学习图像/提示到掩码，使用时缓存同图表示。如果只说“MAE 会补图所以自然会分割”，就跳过了任务训练这一关键桥梁。注意此处是原始 SAM；文字提示在论文中有另行探索，不等于公开几何提示 checkpoint 默认已具备任意语言理解。 **出处：**[Segment Anything 原论文 §2–4](https://arxiv.org/html/2304.02643v1) #### 图示条件与公式约定 原论文§3明确 MAE 预训练图像编码器，§8强调大规模分割任务训练对能力的重要性。SA-1B 属于分割掩码数据，不是 CLIP/LAION。使用阶段每图编码一次，多提示复用。 ## 选读：用透明规则检查点、框与容差 规则对照让每项变化可解释，同时保留与 SAM 权重推理的身份区别。 ### LAB16：颜色连通域让提示的作用变得透明 [独立阅读](/course/blocks/sam-rule-baseline-explained.html) 当前 LAB16 输入 48×64 RGB 图像，含红色外壳、深红内部零件与蓝物体。代码从正点像素取颜色，选择颜色距离在容差内的像素，再保留与正点四邻连通的部分。负点排除与负点颜色太相似的位置；框只限制允许区域。 已有本地输出的面积为：紧容差 110，宽容差 837，增加外壳负点后 110，加框后 156。紧容差选择内部零件，宽容差把整个外壳纳入；框的面积 156 也可能截断物体。这些变化能直接从规则解释。 因此它适合回答“提示和算法假设共同怎样改变结果”，不能回答“SAM 学会了什么”。它确实读入像素并输出 mask，但没有可学习参数，没有加载 SAM checkpoint，也没有语义泛化证据。保留这项透明练习，比给它错误模型身份更有教学价值。 读完可以把同一个正点移到蓝物体，预测容差和负点的作用；或对照官方 SAM predictor 的输入输出接口，标明哪些步骤仍需真实权重推理。此处不把未来模型运行写成已经完成。 **出处：**[SAM 官方 predictor 示例](https://github.com/facebookresearch/segment-anything/blob/main/notebooks/predictor_example.ipynb) ## 沿这个问题继续 先区分提示接口与训练来源；LAB16 作为规则对照选读，原始 SAM 机制按原论文核对。 **出处：**[Segment Anything §3、§8 (2023)](https://arxiv.org/html/2304.02643v1)