Lecture 03 学习讲义
正文
工具
按问题查找
区域、像素与实例提示怎样指定这一次要分的区域?

SAM 的提示回答“这次要哪一块”

独立阅读
课堂上下文:从哪个问题来

点和框指定本次目标,但一个点仍可能同时指向局部与整体。SAM 的可复用图像表示和轻量提示解码使交互更方便;当前 LAB16 是透明规则对照,应准确区分规则输出、教学标注和真正模型输出。

在杯柄上给一个正点,并不唯一规定目标是杯柄、整只杯子还是更大的对象组合。提示式分割的任务是根据图像与提示返回合理 mask;提示增加信息,但不必天然消除所有歧义。

几何提示可以分工:正点表示希望包含的位置,负点表示希望排除的位置,框给出大致区域,已有 mask 可以作为进一步修正的输入。它们不是人工直接提供完整答案,却约束了本次想处理的对象。模型须结合图像线索填出边界。

原始 SAM 将图像编码、提示编码和 mask 解码分开。同一图像的较重表示可缓存,用户改点、改框时重复较轻的后半段。它也能为模糊提示给出多个 mask 与估计质量,从而容纳“部分还是整体”的不同解释。

本页教学图显示提示与目标的对应关系;若要评价模型,应保存真正返回的 mask,并先约定期望的对象粒度。用户给一个点后显示手工真值,不能替代推理证据。LAB16 目前保留的是确定性颜色/连通域规则,适合比较接口,不冒充 SAM 权重推理。

Lecture 03 课堂图解 P46增加框和杯身正点整只杯子新增提示缩小目标歧义正点:要求包含负点:要求排除由提示约束希望分出的区域点、框等提示指定分割区域;图示掩码为教学标注。

同一图像改变点或框,改变当前所问的区域。 查看对应图解状态

  • 增加框和杯身正点
  • 整只杯子
  • 新增提示
  • 缩小目标歧义
  • 正点:要求包含
  • 负点:要求排除
  • 由提示约束希望分出的区域
  • 点、框等提示指定分割区域;图示掩码为教学标注。
同一图像改变点或框,改变当前所问的区域。 查看对应图解状态
查看完整图解

继续阅读与实验