# 从课堂的问题，走进材料与实验 68 页主讲串起学习信号、空间输出和视觉语言三条线。课后按自己的问题选择一条学习路径；需要一句解释、一个算例或一项证据时，可以直接打开独立问题块。 本页说明保留课堂讲述和关键推理，学习材料连接对应实验。段落、图表和代码旁的链接按钮可以引用原文中的具体位置。需要 AI 一起阅读时，打开右上角“给 AI”，复制正文或区块索引地址。 ## I · 学习信号与表示 什么变化应该忽略，训练目标怎样让表示保留我们需要的信息？ [CLS 01 · 学习信号、表示与迁移](/course/notebooks/fb4365d604974dd19df492cb22516e44.html) 提供本部分的连续背景。选择下方一条路径，就能找到相应讲解、主实验与按需回查的材料。 ### [表示怎样迁移到新任务](/course/study/readout-transfer.html) 换一组标签，原来的表示还够用吗？哪些参数值得更新？ **带走的结果：**一张比较表：标签预算、更新参数、测试条件、结果，以及你愿意选择的适配方案。 [查看顺序与材料](/course/study/readout-transfer.html) ### [视图、投影头与历史字典](/course/study/contrastive-views.html) 什么变化应当忽略？候选来自当前批次还是过去批次，会改变什么？ **带走的结果：**用一组对照说明：目标减少了什么差异，又保留了哪种任务信息。 [查看顺序与材料](/course/study/contrastive-views.html) ### [从遮挡重建到表示评价](/course/study/masked-reconstruction.html) 看见少量图块，学会补图之后得到的表示是否可用？ **带走的结果：**并列报告重建误差与一个下游读出结果，解释二者回答的问题为何不同。 [查看顺序与材料](/course/study/masked-reconstruction.html)本部分课堂目录 · P01—P24 ### 答案从哪里来 - [P01 · 训练结束后，网络留下了什么？](/course/pages/l3-r2-p01.html) - [P02 · 类别答案，不等于中间表示](/course/pages/l3-r2-p02.html) - [P03 · 图片已经很多，答案从哪里来？](/course/pages/l3-r2-p03.html) - [P04 · 同一个瓶颈，两种研究与产业选择](/course/pages/l3-r2-p04.html) - [P05 · 文字演示了一种答案来源](/course/pages/l3-r2-p05.html) - [P06 · 没有类别标签，不等于没有学习目标](/course/pages/l3-r2-p06.html) - [P07 · 目标可以扩展，训练还要做得出来](/course/pages/l3-r2-p07.html) ### 两张视图怎样形成学习目标 - [P08 · 同一张图，可以给出两个相关视图](/course/pages/l3-r2-p08.html) - [P09 · “正例”说的是关系，不是类别](/course/pages/l3-r2-p09.html) - [P10 · 一次对比，就是一次有答案的选择](/course/pages/l3-r2-p10.html) - [P11 · 为什么不能把所有图片都映射成同一个向量？](/course/pages/l3-r2-p11.html) - [P12 · 训练时比较 z，使用时读取 h](/course/pages/l3-r2-p12.html) - [P13 · 该忽略颜色，还是该保留颜色？](/course/pages/l3-r2-p13.html) ### 怎样复用历史候选 - [P14 · 比较更多候选，代价在哪里？](/course/pages/l3-r2-p14.html) - [P15 · MoCo：字典里保存的是特征](/course/pages/l3-r2-p15.html) - [P16 · 两个编码器，不同的更新方式](/course/pages/l3-r2-p16.html) - [P17 · 把一次学习完整走通](/course/pages/l3-r2-p17.html) - [P18 · 方法不是一条封闭的家谱](/course/pages/l3-r2-p18.html) ### 遮挡重建与迁移检验 - [P19 · 另一条路线：根据可见内容预测缺失](/course/pages/l3-r2-p19.html) - [P20 · 十六个图块，只有四个进入编码器](/course/pages/l3-r2-p20.html) - [P21 · 解码器补位置，目标来自原图](/course/pages/l3-r2-p21.html) - [P22 · 能补图，不等于每项任务都读得好](/course/pages/l3-r2-p22.html) - [P23 · 冻结读出和微调，在问不同的问题](/course/pages/l3-r2-p23.html) - [P24 · 学到表示之后，新任务提出了什么要求？](/course/pages/l3-r2-p24.html) ## II · 区域、像素与实例 从一个类别变成框、像素与实例，需要改变哪些计算与监督？ [空间主线：从候选区域到实例掩码（CLS02）](/course/notebooks/f9ab632ba16b4f2084669791cba6ba85.html) 提供本部分的连续背景。选择下方一条路径，就能找到相应讲解、主实验与按需回查的材料。 ### [一张图怎样变成一组框](/course/study/image-detection.html) 类别、位置、重复框和漏检分别从哪个环节出现？ **带走的结果：**标出一幅预测中的三类错误，并解释改变 NMS 阈值为何可能同时增加召回与重复。 [查看顺序与材料](/course/study/image-detection.html) ### [像素、边界与对象身份](/course/study/pixels-instances.html) 输出格子变多之后，模型怎样知道每个位置属于什么？ **带走的结果：**采样热身报告前景、背景 IoU 与两类 mIoU；图像模型报告背景、红矩形、蓝椭圆的逐类 IoU 与三类 mIoU，再用一处边界错误解释数字的含义。 [查看顺序与材料](/course/study/pixels-instances.html)本部分课堂目录 · P25—P48 ### 沿区域计算追踪检测 - [P25 · 同一张图，四种不同的答案](/course/pages/l3-r2-p25.html) - [P26 · 位置还在特征图里吗？](/course/pages/l3-r2-p26.html) - [P27 · R-CNN：让已经会看图的网络看一个区域](/course/pages/l3-r2-p27.html) - [P28 · 候选区域不是已经识别出的物体](/course/pages/l3-r2-p28.html) - [P29 · 许多重叠区域，为什么要重复卷积？](/course/pages/l3-r2-p29.html) - [P30 · 不同大小的区域，怎样读成固定结构？](/course/pages/l3-r2-p30.html) - [P31 · Fast R-CNN：把区域放回共享计算中](/course/pages/l3-r2-p31.html) - [P32 · Faster R-CNN：让候选区域也成为预测](/course/pages/l3-r2-p32.html) - [P33 · 位置怎样成为可学习的目标？](/course/pages/l3-r2-p33.html) - [P34 · 三个框，并不代表三只杯子](/course/pages/l3-r2-p34.html) - [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html) ### 像素类别怎样成为实例答案 - [P36 · FCN：另一条路线，直接为像素作预测](/course/pages/l3-r2-p36.html) - [P37 · 输出变细，不意味着信息自动变多](/course/pages/l3-r2-p37.html) - [P38 · 让细位置与深层语义重新配合](/course/pages/l3-r2-p38.html) - [P39 · 两个同类对象，需要两份身份](/course/pages/l3-r2-p39.html) - [P40 · Mask R-CNN：区域内部，也保留二维结构](/course/pages/l3-r2-p40.html) ### 精确读取与信息保留 - [P41 · 三个像素的偏移，为什么会伤到轮廓？](/course/pages/l3-r2-p41.html) - [P42 · 连续位置的数值，怎样从四个邻点得到？](/course/pages/l3-r2-p42.html) - [P43 · 同一只杯子，换一个区域就换一份局部目标](/course/pages/l3-r2-p43.html) - [P44 · 两种布局，如果已经变成同一个数](/course/pages/l3-r2-p44.html) - [P45 · 多一个通道，和多几个像素不是同一回事](/course/pages/l3-r2-p45.html) ### 提示指定当前目标 - [P46 · SAM：把“分哪一块”交给提示](/course/pages/l3-r2-p46.html) - [P47 · 可复用表示，还要经过任务训练](/course/pages/l3-r2-p47.html) - [P48 · 从物体位置，走向可以说出来的任务](/course/pages/l3-r2-p48.html) ## III · 视觉与语言 语言怎样成为输出、监督和任务条件？ [CLS 03 · 视觉与语言：任务、训练与接口](/course/notebooks/680da245145447dd88983aabd136fd24.html) 提供本部分的连续背景。选择下方一条路径，就能找到相应讲解、主实验与按需回查的材料。 ### [文字候选与图文检索](/course/study/clip-retrieval.html) 同一个图像向量，怎样支持换候选、换提示和搜索图片？ **带走的结果：**记录同一图像在两组候选中的原始相似度与归一化分数，解释哪些量应改变。 [查看顺序与材料](/course/study/clip-retrieval.html) ### [图像怎样约束句子与回答](/course/study/caption-vqa.html) 生成了一句话或一个答案，怎样检查图像实际起了作用？ **带走的结果：**给出一对输入与输出，指出视觉条件改变后答案应怎样变化，并解释实测是否支持。 [查看顺序与材料](/course/study/caption-vqa.html) ### [一句话指向哪个对象](/course/study/grounding-interface.html) 目标、参照物和关系各是什么，怎样把答案落回区域？ **带走的结果：**标出目标框与参照框，并给出一个能击败关键词基线的最小对照。 [查看顺序与材料](/course/study/grounding-interface.html)本部分课堂目录 · P49—P68 ### 描述、区域与问答的研究积累 - [P49 · 同一幅画面，语言提出不同的问题](/course/pages/l3-r2-p49.html) - [P50 · 2014—2016：几条准备已久的路线相遇](/course/pages/l3-r2-p50.html) - [P51 · 图像描述：视觉内容怎样成为一句话？](/course/pages/l3-r2-p51.html) - [P52 · 认识一个物体，为什么未必会把它说出来？](/course/pages/l3-r2-p52.html) - [P53 · 一句话里的词，指向图中的哪一部分？](/course/pages/l3-r2-p53.html) - [P54 · VQA：问题决定此刻需要哪一项信息](/course/pages/l3-r2-p54.html) - [P55 · 区域表示与语言预训练，有了可连接的部件](/course/pages/l3-r2-p55.html) ### 图文对应如何形成候选接口 - [P56 · CLIP 选择的任务：先学哪幅图与哪段话相配](/course/pages/l3-r2-p56.html) - [P57 · 一张相似度矩阵，连接训练和使用](/course/pages/l3-r2-p57.html) - [P58 · 用文字组织类别，而不是重做一张固定标签表](/course/pages/l3-r2-p58.html) - [P59 · 匹配还可以变成图文检索](/course/pages/l3-r2-p59.html) - [P60 · 图文数据不是一堆没有来历的图片](/course/pages/l3-r2-p60.html) ### 从关系检查到区域和回答 - [P61 · 前两张图都选对，究竟说明了什么？](/course/pages/l3-r2-p61.html) - [P62 · 把位置与关系拆开，解释才会分叉](/course/pages/l3-r2-p62.html) - [P63 · GLIP：不只说相关，还要指出区域](/course/pages/l3-r2-p63.html) - [P64 · 把视觉表示接入一个已经会说话的模型](/course/pages/l3-r2-p64.html) - [P65 · 连接层与任务使用方式，都需要训练](/course/pages/l3-r2-p65.html) ### 不同积累汇合，走向条件生成 - [P66 · 回看这段历史：留下来的不是一个网络名字](/course/pages/l3-r2-p66.html) - [P67 · 同一句描述，为什么可以有很多张正确图像？](/course/pages/l3-r2-p67.html) - [P68 · 下一讲：怎样学习可能性，并产生一个样本？](/course/pages/l3-r2-p68.html) #### 后续课程的预备阅读 第三讲使用视觉编码器与文字预测器的输入输出接口。条件生成由第四讲展开，RNN 与完整 attention 留到第五讲，分布式训练与显存放在第六讲相应背景下继续学习；这些材料不增加本讲必读要求。 - [L05 · CLS 01 · 序列目标与共享状态 ↗](https://deepnote.com/project/841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/b1c8e2fd764441e8820b808fc40ec3cb?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=b1c8e2fd764441e8820b808fc40ec3cb&utm_term=get_notebook) - [L06 · CLS 01 · 训练目标与资源账本 ↗](https://deepnote.com/project/2ff4b87b-2904-4b9c-b9e9-bdbd72962691/notebook/e2c2fce2f81b40d59356bfe7a63361b0?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=e2c2fce2f81b40d59356bfe7a63361b0&utm_term=get_notebook) - [L04 · CLS 01 · 从条件多解到生成目标 ↗](https://deepnote.com/project/6f83a923-d155-47be-be58-680db701ff7f/notebook/694b7a43ea4948f5a197c014c2fbad3b?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=694b7a43ea4948f5a197c014c2fbad3b&utm_term=get_notebook) - [L05 · LAB 01 · 序列状态与预测目标 ↗](https://deepnote.com/project/841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/ec403d28cc2c400ba661cd270588669f?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=ec403d28cc2c400ba661cd270588669f&utm_term=get_notebook) - [L06 · LAB 01 · 同一次更新，多个数据分片 ↗](https://deepnote.com/project/2ff4b87b-2904-4b9c-b9e9-bdbd72962691/notebook/6cbbfbeaa7b941c3af8063f4ca5969f8?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=6cbbfbeaa7b941c3af8063f4ca5969f8&utm_term=get_notebook) - [L06 · LAB 02 · 训练内存与计算组织 ↗](https://deepnote.com/project/2ff4b87b-2904-4b9c-b9e9-bdbd72962691/notebook/56ea4de667c74a84a7be00689c8de2d9?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=56ea4de667c74a84a7be00689c8de2d9&utm_term=get_notebook)[补充与后续阅读](/course/supplements.html) ## 把结果带回自己的问题 写出输入、希望输出的答案和一个竞争解释，再选择能区分解释的最小对照。已有实验结果带有日期与条件；自己运行后，对照数据、参数和划分解释差异。实验均为可选学习活动，不改变正式问卷和课程计分。