Lecture 03 学习讲义
正文
工具
按问题查找
Lecture 035. 真实 grounding 模型的证据入口与本册边界

5. 真实 grounding 模型的证据入口与本册边界

独立阅读

按问题继续

RGB规则提框、错误关键词基线、目标/参照/关系与干预

5. 真实 grounding 模型的证据入口与本册边界

Grounding DINO 官方仓库 提供模型结构、预训练 checkpoint、图像+文本推理代码、阈值与可视化;论文作者原文 给出方法与评价。这是已核验的一手实现入口,本册没有运行该权重,不将官方示例写成本次成绩,也不假设它必然正确解析任意空间关系。

官方 Python 示例的核心路径是 load_model → load_image → predict → annotate。predict 接收真正图像和文本,默认输出候选框及词级匹配分数;box threshold 和 text threshold 会影响保留框与短语。若后续运行,应固定 GroundingDINO_SwinT_OGC.py、groundingdino_swint_ogc.pth、输入 PNG、文本、两个阈值和设备,保存原始 boxes/logits/phrases 及模型权重哈希,再在本册的同图干预上比较。原图、遮挡图与颜色交换图已经生成在 outputs/lab15/,无需另找输入。

本次已完成: 关键词失败复现、可见像素候选、关系角色与坐标、四个真实条件输出、干预区域不变量检查。本次未完成: 预训练 grounding 权重下载与推理、开放词汇或真实照片评测。lab15-results.json 保留这个状态,不把外部入口当成已运行模型。