## 一个正点可能指局部，也可能指整体 ## 解释、算例与证据 # P46 · SAM：把“分哪一块”交给提示 点和框指定本次目标，但一个点仍可能同时指向局部与整体。SAM 的可复用图像表示和轻量提示解码使交互更方便；当前 LAB16 是透明规则对照，应准确区分规则输出、教学标注和真正模型输出。 图内标签与数值：Lecture 03 课堂图解 P46；增加框和杯身正点；整只杯子；新增提示；缩小目标歧义；正点：要求包含；负点：要求排除；由提示约束希望分出的区域；点、框等提示指定分割区域；图示掩码为教学标注。 同一图像杯柄正点对应整杯和杯柄两个教学掩码；增加框与杯身正点以约束整体目标。 - 增加框和杯身正点 - 整只杯子 - 新增提示 - 缩小目标歧义 - 正点：要求包含 - 负点：要求排除 - 由提示约束希望分出的区域 - 点、框等提示指定分割区域；图示掩码为教学标注。同一图像杯柄正点对应整杯和杯柄两个教学掩码；增加框与杯身正点以约束整体目标。 [查看对应图解状态](/#/l3-r2-p46/1)[查看完整图解](/course/figures/l3-r2-p46-1.html) ## 课堂讲述 前面主要把任务写成固定的训练输出。SAM 带来另一种使用接口：先给图像，再通过点、框等提示指定当前关心的区域，模型返回符合提示的掩码。 一个点未必只有一个正确解释。它落在杯柄上，我们可能关心杯柄，也可能关心整只杯子。增加提示是在减少这类歧义，而不是仅仅提高一个类别分数。 因此，可提示分割和自动把所有物体检测出来、给它们命名，不是完全相同的任务。这个接口让模型更容易被复用于不同操作，但使用者仍要说清想分什么。接下来再看，这种能力怎样与前面讲过的预训练连接起来。 ### SAM 的提示回答“这次要哪一块” [独立阅读](/course/blocks/sam-prompt-contract.html) 在杯柄上给一个正点，并不唯一规定目标是杯柄、整只杯子还是更大的对象组合。提示式分割的任务是根据图像与提示返回合理 mask；提示增加信息，但不必天然消除所有歧义。 几何提示可以分工：正点表示希望包含的位置，负点表示希望排除的位置，框给出大致区域，已有 mask 可以作为进一步修正的输入。它们不是人工直接提供完整答案，却约束了本次想处理的对象。模型须结合图像线索填出边界。 原始 SAM 将图像编码、提示编码和 mask 解码分开。同一图像的较重表示可缓存，用户改点、改框时重复较轻的后半段。它也能为模糊提示给出多个 mask 与估计质量，从而容纳“部分还是整体”的不同解释。 本页教学图显示提示与目标的对应关系；若要评价模型，应保存真正返回的 mask，并先约定期望的对象粒度。用户给一个点后显示手工真值，不能替代推理证据。LAB16 目前保留的是确定性颜色/连通域规则，适合比较接口，不冒充 SAM 权重推理。 **出处：**[Segment Anything 原论文 §2–4](https://arxiv.org/html/2304.02643v1) · [SAM 官方 predictor 示例](https://github.com/facebookresearch/segment-anything/blob/main/notebooks/predictor_example.ipynb) #### 图示条件与公式约定 原始 SAM 主流程以几何提示训练，单点允许整体/部件歧义，模型设计支持多个候选掩码。此处是任务标注，不是本轮运行。原论文另有 text-to-mask 探索；此图不展开，也不把组合 grounding 能力归给本图接口。 #### 这条线索的展开与后续阅读 - [提示变了，这次要分割谁？](/supplement.html?return=l3-r2-p46/0#/l3-sam/0) 本页说明 ## 选读：用透明规则检查点、框与容差 规则对照让每项变化可解释，同时保留与 SAM 权重推理的身份区别。 ### LAB16：颜色连通域让提示的作用变得透明 [独立阅读](/course/blocks/sam-rule-baseline-explained.html) 当前 LAB16 输入 48×64 RGB 图像，含红色外壳、深红内部零件与蓝物体。代码从正点像素取颜色，选择颜色距离在容差内的像素，再保留与正点四邻连通的部分。负点排除与负点颜色太相似的位置；框只限制允许区域。 已有本地输出的面积为：紧容差 110，宽容差 837，增加外壳负点后 110，加框后 156。紧容差选择内部零件，宽容差把整个外壳纳入；框的面积 156 也可能截断物体。这些变化能直接从规则解释。 因此它适合回答“提示和算法假设共同怎样改变结果”，不能回答“SAM 学会了什么”。它确实读入像素并输出 mask，但没有可学习参数，没有加载 SAM checkpoint，也没有语义泛化证据。保留这项透明练习，比给它错误模型身份更有教学价值。 读完可以把同一个正点移到蓝物体，预测容差和负点的作用；或对照官方 SAM predictor 的输入输出接口，标明哪些步骤仍需真实权重推理。此处不把未来模型运行写成已经完成。 **出处：**[SAM 官方 predictor 示例](https://github.com/facebookresearch/segment-anything/blob/main/notebooks/predictor_example.ipynb) ### 沿着图解追问 以下是备课用的模拟师生对话，不是课堂实录。 **学生：**给一个正点，模型为什么会给多个 mask？ **教师：**正点可能落在局部与整体的共同位置。多个合理候选表达这种歧义；再给负点或框，才有额外条件帮助选定想要的粒度。 ## 沿这个问题继续 先区分提示接口与训练来源；LAB16 作为规则对照选读，原始 SAM 机制按原论文核对。 **出处：**[Segment Anything §3、§8 (2023)](https://arxiv.org/html/2304.02643v1)