Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例提示怎样指定这一次要分的区域?

一个正点可能指局部,也可能指整体

解释、算例与证据

P46 · SAM:把“分哪一块”交给提示

点和框指定本次目标,但一个点仍可能同时指向局部与整体。SAM 的可复用图像表示和轻量提示解码使交互更方便;当前 LAB16 是透明规则对照,应准确区分规则输出、教学标注和真正模型输出。

Lecture 03 课堂图解 P46增加框和杯身正点整只杯子新增提示缩小目标歧义正点:要求包含负点:要求排除由提示约束希望分出的区域点、框等提示指定分割区域;图示掩码为教学标注。

同一图像杯柄正点对应整杯和杯柄两个教学掩码;增加框与杯身正点以约束整体目标。

  • 增加框和杯身正点
  • 整只杯子
  • 新增提示
  • 缩小目标歧义
  • 正点:要求包含
  • 负点:要求排除
  • 由提示约束希望分出的区域
  • 点、框等提示指定分割区域;图示掩码为教学标注。
同一图像杯柄正点对应整杯和杯柄两个教学掩码;增加框与杯身正点以约束整体目标。 查看对应图解状态
查看完整图解

课堂讲述

前面主要把任务写成固定的训练输出。SAM 带来另一种使用接口:先给图像,再通过点、框等提示指定当前关心的区域,模型返回符合提示的掩码。 一个点未必只有一个正确解释。它落在杯柄上,我们可能关心杯柄,也可能关心整只杯子。增加提示是在减少这类歧义,而不是仅仅提高一个类别分数。 因此,可提示分割和自动把所有物体检测出来、给它们命名,不是完全相同的任务。这个接口让模型更容易被复用于不同操作,但使用者仍要说清想分什么。接下来再看,这种能力怎样与前面讲过的预训练连接起来。

SAM 的提示回答“这次要哪一块”

独立阅读

在杯柄上给一个正点,并不唯一规定目标是杯柄、整只杯子还是更大的对象组合。提示式分割的任务是根据图像与提示返回合理 mask;提示增加信息,但不必天然消除所有歧义。

几何提示可以分工:正点表示希望包含的位置,负点表示希望排除的位置,框给出大致区域,已有 mask 可以作为进一步修正的输入。它们不是人工直接提供完整答案,却约束了本次想处理的对象。模型须结合图像线索填出边界。

原始 SAM 将图像编码、提示编码和 mask 解码分开。同一图像的较重表示可缓存,用户改点、改框时重复较轻的后半段。它也能为模糊提示给出多个 mask 与估计质量,从而容纳“部分还是整体”的不同解释。

本页教学图显示提示与目标的对应关系;若要评价模型,应保存真正返回的 mask,并先约定期望的对象粒度。用户给一个点后显示手工真值,不能替代推理证据。LAB16 目前保留的是确定性颜色/连通域规则,适合比较接口,不冒充 SAM 权重推理。

图示条件与公式约定

原始 SAM 主流程以几何提示训练,单点允许整体/部件歧义,模型设计支持多个候选掩码。此处是任务标注,不是本轮运行。原论文另有 text-to-mask 探索;此图不展开,也不把组合 grounding 能力归给本图接口。

这条线索的展开与后续阅读

区域、像素与实例提示怎样指定这一次要分的区域?

选读:用透明规则检查点、框与容差

规则对照让每项变化可解释,同时保留与 SAM 权重推理的身份区别。

LAB16:颜色连通域让提示的作用变得透明

独立阅读

当前 LAB16 输入 48×64 RGB 图像,含红色外壳、深红内部零件与蓝物体。代码从正点像素取颜色,选择颜色距离在容差内的像素,再保留与正点四邻连通的部分。负点排除与负点颜色太相似的位置;框只限制允许区域。

已有本地输出的面积为:紧容差 110,宽容差 837,增加外壳负点后 110,加框后 156。紧容差选择内部零件,宽容差把整个外壳纳入;框的面积 156 也可能截断物体。这些变化能直接从规则解释。

因此它适合回答“提示和算法假设共同怎样改变结果”,不能回答“SAM 学会了什么”。它确实读入像素并输出 mask,但没有可学习参数,没有加载 SAM checkpoint,也没有语义泛化证据。保留这项透明练习,比给它错误模型身份更有教学价值。

读完可以把同一个正点移到蓝物体,预测容差和负点的作用;或对照官方 SAM predictor 的输入输出接口,标明哪些步骤仍需真实权重推理。此处不把未来模型运行写成已经完成。

沿着图解追问

以下是备课用的模拟师生对话,不是课堂实录。

学生:给一个正点,模型为什么会给多个 mask?

教师:正点可能落在局部与整体的共同位置。多个合理候选表达这种歧义;再给负点或框,才有额外条件帮助选定想要的粒度。

沿这个问题继续

先区分提示接口与训练来源;LAB16 作为规则对照选读,原始 SAM 机制按原论文核对。