# MAE 提供起点，掩码任务训练学会怎样响应提示
[独立阅读](/course/blocks/sam-task-training.html)**课堂上下文：从哪个问题来**
把三个阶段分开：MAE 初始化视觉编码器，提示式 mask 训练建立任务能力，使用时缓存同图表示。具体训练目标和数据组织使提示能够起作用；这座桥把第一部分的表示来源与第二部分的空间接口连接起来。


原始 SAM 的图像编码器使用 MAE 预训练初始化。这连接了第一部分的表示学习，但“遮挡重建”目标并没有直接提供“某个正点应对应哪个对象 mask”的全部监督。后续还要进行提示式分割训练。



训练样本包含图像、目标 mask 与模拟提示。模型预测后，可以从错误区域追加正点或负点，再要求它修正；原论文训练模拟每个 mask 的多轮交互，掩码损失组合 focal 与 dice。这样，推理时的“改点、改框”对应训练中学过的任务，而不是凭空获得一个通用按钮。



数据组织也属于能力来源。SA-1B 来自模型辅助标注、半自动补充、全自动生成的逐步演进，最终收集约 1100 万张图像与 11 亿个 mask。这里的数据单位是区域轮廓，并非现成的图文语句对。



预训练参数、任务监督和使用接口可以分别复用：先以自监督表示为起点，再学习图像/提示到掩码，使用时缓存同图表示。如果只说“MAE 会补图所以自然会分割”，就跳过了任务训练这一关键桥梁。注意此处是原始 SAM；文字提示在论文中有另行探索，不等于公开几何提示 checkpoint 默认已具备任意语言理解。



图内标签与数值：Lecture 03 课堂图解 P47；训练：初始化 ≠ 完整分割能力；MAE 预训练；提供图像编码器起点；分割任务训练；SA-1B 掩码 + 提示监督；SAM；图像 / 提示 / 掩码模块；使用：图像编码可复用；图像表示；新点提示 → 一个掩码；新框提示 → 另一个掩码

初始化、任务训练与使用时缓存是三个不同阶段。 查看对应图解状态

- 训练：初始化 ≠ 完整分割能力
- MAE 预训练
- 提供图像编码器起点
- 分割任务训练
- SA-1B 掩码 + 提示监督
- SAM
- 图像 / 提示 / 掩码模块
- 使用：图像编码可复用
- 图像表示
- 新点提示 → 一个掩码
- 新框提示 → 另一个掩码初始化、任务训练与使用时缓存是三个不同阶段。 [查看对应图解状态](/#/l3-r2-p47/0)[查看完整图解](/#/l3-r2-p47/0)
**出处：**[Segment Anything 原论文 §2–4](https://arxiv.org/html/2304.02643v1)
## 继续阅读与实验