# 每个解释，都有可以引用的位置 可以从课堂页进入，也可以从一个概念、算例或实验问题进入。每块正文保留必要上下文，并连接回图解和完整实验。 搜索问题、机制或算例 ## [训练留下参数；一次输入才产生表示](/course/blocks/representation-after-training.html) 训练结束保存的是参数，新图经过这些参数的计算才产生表示。用杯子分类转向左右定位的例子，区分编码器与分类头各自留下什么，以及迁移需要检验的起点优势。 [P01 · 训练结束后，网络留下了什么？](/course/pages/l3-r2-p01.html)[独立阅读](/course/blocks/representation-after-training.html) ## [丢掉分类头，究竟还剩下什么？](/course/blocks/category-head-versus-representation.html) 把数字十分类改成是否大于等于五，可以合并原类别，也可以用中间表示另学二分类头。两条路径对旧分类错误的依赖不同，说明换任务时为什么要重新选择读取接口。 [P02 · 类别答案，不等于中间表示](/course/pages/l3-r2-p02.html)[独立阅读](/course/blocks/category-head-versus-representation.html) ## [标签预算取决于要回答什么](/course/blocks/supervision-budget-output-granularity.html) 同一张照片的整图类别、对象框、像素掩码和关系描述提供不同答案。用一千张图的假设标注工时比较，说明监督预算取决于输出粒度、复核与返工，不能只按图片数量估算。 [P03 · 图片已经很多，答案从哪里来？](/course/pages/l3-r2-p03.html)[独立阅读](/course/blocks/supervision-budget-output-granularity.html) ## [监督供给的两种回应](/course/blocks/human-supervision-service-and-self-supervision.html) 组织人工判断与从数据构造训练答案，是扩大监督供给的两条可并用路线。Scale 的早期服务和同图视图、遮词、遮挡像素各说明一种来源，并连接少量精确标注的下游适配。 [P04 · 同一个瓶颈，两种研究与产业选择](/course/pages/l3-r2-p04.html)[独立阅读](/course/blocks/human-supervision-service-and-self-supervision.html) ## [同一句原文怎样生成两种预测题](/course/blocks/text-target-construction.html) 同一句红杯描述既能构造下一词预测，也能构造遮词预测；目标来自原文，可见条件却不同。正确词概率从四分之一升到二分之一的损失计算，展示文字如何提供参数更新反馈。 [P05 · 文字演示了一种答案来源](/course/pages/l3-r2-p05.html)[独立阅读](/course/blocks/text-target-construction.html) ## [监督来源、预测任务与损失要分开](/course/blocks/source-task-loss-three-axes.html) 自监督、分类、交叉熵分别描述答案来源、输出任务和惩罚方式，可以出现在同一实验中。沿同源候选选择与隐藏像素预测拆开这三个维度，才能判断模型实际在学习什么。 [P06 · 没有类别标签，不等于没有学习目标](/course/pages/l3-r2-p06.html)[独立阅读](/course/blocks/source-task-loss-three-axes.html) ## [训练目标也在分配计算](/course/blocks/objective-and-compute-interface.html) 批内对比保留当前视图的计算状态，MoCo 缓存历史向量，MAE 减少昂贵编码器处理的图块。比较新图编码、激活和缓存三类开销，说明计算条件怎样参与训练目标的实现。 [P07 · 目标可以扩展，训练还要做得出来](/course/pages/l3-r2-p07.html)[独立阅读](/course/blocks/objective-and-compute-interface.html) ## [同源视图为什么能当作正例？](/course/blocks/paired-views-as-a-task.html) 两张视图的正例身份来自同一原图的数据记录。裁剪与亮度变化保留共有轮廓时，配对任务鼓励学习稳定结构；若两次裁剪只剩无关物体，同源规则也可能给出不合适的训练约束。 [P08 · 同一张图，可以给出两个相关视图](/course/pages/l3-r2-p08.html)[独立阅读](/course/blocks/paired-views-as-a-task.html) ## [同源、同类与负例不是同一回事](/course/blocks/instance-positive-and-false-negative.html) 同一红杯照片的两次裁剪是同源正例，另一只红杯通常仍是其他候选。这个例子分开实例身份与下游类别，解释假负例为何会让同一对图像在两种任务中受到不同的训练压力。 [P09 · “正例”说的是关系，不是类别](/course/pages/l3-r2-p09.html)[独立阅读](/course/blocks/instance-positive-and-false-negative.html) ## [把对比损失算成一道选择题](/course/blocks/infonce-as-candidate-choice.html) 三个温度缩放后分数为二、一、零的候选，可算出正例概率约为零点六六五，损失约为零点四零八。选择题算例把正例、分母与相对分数接起来，再对应图像实验中的反向传播。 [P10 · 一次对比，就是一次有答案的选择](/course/pages/l3-r2-p10.html)[独立阅读](/course/blocks/infonce-as-candidate-choice.html) ## [温度改变什么，不改变什么？](/course/blocks/temperature-ranking-probability-gradient.html) 固定三个相似度，只改变温度，排序不变而概率集中程度改变。结合正负例梯度解释低温何时强化竞争、何时因预测已饱和而减弱梯度，区分调低损失与改善表示。 [P10 · 一次对比，就是一次有答案的选择](/course/pages/l3-r2-p10.html)[独立阅读](/course/blocks/temperature-ranking-probability-gradient.html) ## [常量表示为什么不解决对比任务？](/course/blocks/collapse-and-discrimination.html) 所有图像都输出同一向量时，配对距离可以为零，却无法区分候选。三个候选只能各得三分之一概率的算例，解释对比目标为何需要区分性，以及实际训练还应怎样检查表示退化。 [P11 · 为什么不能把所有图片都映射成同一个向量？](/course/pages/l3-r2-p11.html)[独立阅读](/course/blocks/collapse-and-discrimination.html) ## [在 z 上比较，为什么 h 仍会学习？](/course/blocks/projection-head-gradient-and-retention.html) 对比损失经过投影头仍能更新编码器；迁移读取中间表示只是改用另一个接口。形状与颜色的两分量构造说明投影头如何提供分工空间，再用已有换色实验检验这种空间是否被利用。 [P12 · 训练时比较 z，使用时读取 h](/course/pages/l3-r2-p12.html)[独立阅读](/course/blocks/projection-head-gradient-and-retention.html) ## [颜色应被忽略，还是应被保留？](/course/blocks/color-invariance-is-task-dependent.html) 识别形状可能希望忽略颜色变化，分拣红蓝杯却必须保留它。从同一底图固定几何与背景，只改变颜色操作，并分别评价形状和颜色，才能辨认增强带来的具体用途取舍。 [P13 · 该忽略颜色，还是该保留颜色？](/course/pages/l3-r2-p13.html)[独立阅读](/course/blocks/color-invariance-is-task-dependent.html) ## [已有图像训练给出了一次明确的取舍](/course/blocks/color-ablation-existing-image-evidence.html) 已有合成图像训练固定初始化和预算，只改变视图是否交换红蓝通道。形状读出提升而颜色读出下降的结果，把不变性的收益与代价同时显现；不同读出方法还揭示同一表示的可用性差异。 [P13 · 该忽略颜色，还是该保留颜色？](/course/pages/l3-r2-p13.html)[独立阅读](/course/blocks/color-ablation-existing-image-evidence.html) ## [批内候选数为什么和 batch 绑在一起？](/course/blocks/current-batch-dictionary-cost.html) 同一视图列表同时作为矩阵两轴时，四个视图形成四阶矩阵，自身排除后每行有三个候选；六个视图则有五个。明确正例身份后，可以追踪扩大当前批次怎样增加比较与反传开销。 [P14 · 比较更多候选，代价在哪里？](/course/pages/l3-r2-p14.html)[独立阅读](/course/blocks/current-batch-dictionary-cost.html) ## [队列保存的是带历史身份的 key](/course/blocks/moco-key-queue-identity.html) 容量四的队列在本批加入两个新键时，也移除两个最旧键，留下两个历史键供下批继续比较。槽位保存的是生成当时的向量，队列长度与每批入队数共同决定特征会有多旧。 [P15 · MoCo：字典里保存的是特征](/course/pages/l3-r2-p15.html)[独立阅读](/course/blocks/moco-key-queue-identity.html) ## [梯度更新和 EMA 更新作用在不同地方](/course/blocks/moco-two-parameter-updates.html) 查询编码器接受损失梯度，键编码器通过参数移动平均缓慢跟随。两维参数的连续更新算例把两条更新路径分开，说明平滑参数为何能缓和历史特征漂移，以及它没有改写哪些旧向量。 [P16 · 两个编码器，不同的更新方式](/course/pages/l3-r2-p16.html)[独立阅读](/course/blocks/moco-two-parameter-updates.html) ## [把一次学习走通，也读清实现顺序](/course/blocks/moco-one-step-paper-and-code.html) 沿两视图、正键、旧队列、损失和入队走完一次学习，并对照论文与教学代码的移动平均时序。跟踪一条键何时生成、比较和离开，能把共同机制与具体实现顺序区分开。 [P17 · 把一次学习完整走通](/course/pages/l3-r2-p17.html)[独立阅读](/course/blocks/moco-one-step-paper-and-code.html) ## [方法是可组合的设计，不是封闭家谱](/course/blocks/contrastive-designs-can-recombine.html) 批内候选、历史字典、投影头和动量编码器是可重新组合的设计。把增强、网络、目标、候选、更新与评价分别列出，就能指出新方法改了哪一段，并理解多项改动共同产生的收益。 [P18 · 方法不是一条封闭的家谱](/course/pages/l3-r2-p18.html)[独立阅读](/course/blocks/contrastive-designs-can-recombine.html) ## [MoCo 的表示怎样支持检测迁移？](/course/blocks/moco-voc-transfer-evidence.html) 在相同检测模型和下游微调协议中，MoCo 预训练的检测 AP 高于人工类别监督起点。原论文对照展示无类别标签的视图学习如何支持检测，同时说明这个成绩包含检测监督下的全层适配。 [P18 · 方法不是一条封闭的家谱](/course/pages/l3-r2-p18.html) · [P24 · 学到表示之后，新任务提出了什么要求？](/course/pages/l3-r2-p24.html)[独立阅读](/course/blocks/moco-voc-transfer-evidence.html) ## [重建需要什么限制，才不只是在复制？](/course/blocks/reconstruction-restrictions.html) 完整输入直接复制即可完成重建，表示学习因而需要限制可见内容或中间通道。比较离散词典、低维投影、去噪和遮挡，解释各自迫使模型利用什么结构，也帮助排查目标信息泄漏。 [P19 · 另一条路线：根据可见内容预测缺失](/course/pages/l3-r2-p19.html)[独立阅读](/course/blocks/reconstruction-restrictions.html) ## [保留最大方差，不等于保留任务答案](/course/blocks/pca-reconstruction-worked-example.html) 四个二维点中，横轴保留较大方差并取得更低重建误差，却合并了纵坐标正负两点。这个可算反例说明重建目标为何有其合理性，也说明未来任务仍需单独评价。 [P19 · 另一条路线：根据可见内容预测缺失](/course/pages/l3-r2-p19.html)[独立阅读](/course/blocks/pca-reconstruction-worked-example.html) ## [为什么缺失处可能被补得模糊？](/course/blocks/squared-error-conditional-mean.html) 同一可见条件下，隐藏像素等概率为零或一，预测二分之一的平方误差更低。条件均值算例解释模糊补全为何可能符合训练目标，并引出恢复平均值与产生合理样本的区别。 [P19 · 另一条路线：根据可见内容预测缺失](/course/pages/l3-r2-p19.html) · [P22 · 能补图，不等于每项任务都读得好](/course/pages/l3-r2-p22.html)[独立阅读](/course/blocks/squared-error-conditional-mean.html) ## [16 块中，编码器真的只看见 4 块](/course/blocks/mae-visible-patch-input.html) 十六块图像只让四块带着原始位置进入编码器，其余像素留在损失端作答案。固定可见位置帮助追踪高遮挡率的真实输入，区分只编码可见块与完整编码后才涂黑图块。 [P20 · 十六个图块，只有四个进入编码器](/course/pages/l3-r2-p20.html)[独立阅读](/course/blocks/mae-visible-patch-input.html) ## [补回位置与补回像素，是两件事](/course/blocks/mae-shuffle-restore-worked-example.html) 四个位置先打乱、取两项编码，再补入占位并按逆排列归位。逐项数组演算说明恢复坐标与恢复像素是两件事：占位标明待预测位置，真正内容仍需解码器学习补全。 [P21 · 解码器补位置，目标来自原图](/course/pages/l3-r2-p21.html)[独立阅读](/course/blocks/mae-shuffle-restore-worked-example.html) ## [只在隐藏位置算损失，分母也要一致](/course/blocks/mae-masked-loss-denominator.html) 十六块中隐藏十二块时，隐藏块平均损失的分母应为十二。把可见真值拼回展示图会降低整图误差，却没有改善隐藏预测；核对位置集合、像素缩放与归一化才能比较重建成绩。 [P21 · 解码器补位置，目标来自原图](/course/pages/l3-r2-p21.html)[独立阅读](/course/blocks/mae-masked-loss-denominator.html) ## [少看图块为何省计算，又为何不是固定加速比](/course/blocks/mae-compute-not-sixteen-times.html) 编码项从十六块减为四块，两两计算项降至原来的十六分之一，但解码与其他计算仍然存在。这个资源账解释稀疏可见输入的价值，也标清稠密卷积教学模型与原 MAE 的计算差别。 [P20 · 十六个图块，只有四个进入编码器](/course/pages/l3-r2-p20.html)[独立阅读](/course/blocks/mae-compute-not-sixteen-times.html) ## [能补图与能识别，需要两张成绩单](/course/blocks/reconstruction-and-readout-two-results.html) 已有数字图像实验同时测量重建误差和冻结表示的分类读出，分别显示恢复结构与支持新用途的改善。两张成绩单连接同一编码器，但使用不同目标，避免把补图效果直接当作分类证据。 [P22 · 能补图，不等于每项任务都读得好](/course/pages/l3-r2-p22.html)[独立阅读](/course/blocks/reconstruction-and-readout-two-results.html) ## [MAE 的正面证据也依赖评价接口](/course/blocks/mae-finetuning-evidence.html) MAE 原论文中，遮挡预训练为大视觉模型的分类微调提供了有效起点；只微调最后一个块也明显改善线性读出成绩。这些对照说明评价允许改变多少计算，会影响对表示价值的判断。 [P22 · 能补图，不等于每项任务都读得好](/course/pages/l3-r2-p22.html) · [P23 · 冻结读出和微调，在问不同的问题](/course/pages/l3-r2-p23.html)[独立阅读](/course/blocks/mae-finetuning-evidence.html) ## [冻结读出与微调分别在问什么？](/course/blocks/readout-versus-finetuning-protocol.html) 冻结读出检验既有表示能否被指定函数利用，微调检验起点经过适配后的能力。固定数据划分、标签预算与评价规则，并区分参数、运行统计和梯度开关，才能比较不同使用方式。 [P23 · 冻结读出和微调，在问不同的问题](/course/pages/l3-r2-p23.html)[独立阅读](/course/blocks/readout-versus-finetuning-protocol.html) ## [同一表示，增加标签与改变读出是两种干预](/course/blocks/fixed-representation-label-budget-evidence.html) 同一数字表示始终冻结，只增加标签或改变读出方法，保留准确率就会变化。已有预算对照把编码器学习与标签使用分开，也让不同正则与函数类成为解释读出差异的具体条件。 [P23 · 冻结读出和微调，在问不同的问题](/course/pages/l3-r2-p23.html)[独立阅读](/course/blocks/fixed-representation-label-budget-evidence.html) ## [解冻更多参数，不保证更好](/course/blocks/adaptation-scope-and-negative-result.html) 同一分类起点分别只更新新头、解冻后部或更新全网，再与随机起点比较。已有协议下从零训练获得更低验证损失，这个负结果说明迁移优势要由任务、预算与预定选择规则检验。 [P23 · 冻结读出和微调，在问不同的问题](/course/pages/l3-r2-p23.html)[独立阅读](/course/blocks/adaptation-scope-and-negative-result.html) ## [新域失效与负迁移不能混为一谈](/course/blocks/environment-shift-versus-negative-transfer.html) 背景与标签的关系翻转，可以让源域表现良好的模型在新域失效。受控实验进一步比较零样本、少量标签适配与从零训练，分清适配带来的改善和预训练相对新任务基线的优势。 [P24 · 学到表示之后，新任务提出了什么要求？](/course/pages/l3-r2-p24.html)[独立阅读](/course/blocks/environment-shift-versus-negative-transfer.html) ## [从表示到空间输出：下一部分新增了什么？](/course/blocks/representation-to-spatial-output-bridge.html) 第一部分提供可迁移起点，第二部分把答案改成对象框、像素类别和实例身份。保留空间表示后仍需区域读取、匹配与任务监督，这条连接说明新用途为什么要求一起改变表示接口与输出结构。 [P24 · 学到表示之后，新任务提出了什么要求？](/course/pages/l3-r2-p24.html)[独立阅读](/course/blocks/representation-to-spatial-output-bridge.html) ## [信息还在，与一条直线能读出是两件事](/course/blocks/information-and-readable-form.html) 四个互不相同的点完整决定 XOR 标签，却不能被一条直线分开；改用两坐标乘积后，一个零阈值就能读出。精确构造把任务信息、原输入身份与读出能力分开，说明压缩不等于增加信息。 [P12 · 训练时比较 z，使用时读取 h](/course/pages/l3-r2-p12.html) · [P23 · 冻结读出和微调，在问不同的问题](/course/pages/l3-r2-p23.html)[独立阅读](/course/blocks/information-and-readable-form.html) ## [教师模型提供的是哪一种答案？](/course/blocks/teacher-target-source-and-collapse.html) 固定教师提供已有模型的软答案，移动平均教师提供学生参数历史的平滑版本。温度改变类别概率的算例说明软目标携带什么关系，再连接停止梯度、预测器与分布处理的不同作用。 [P11 · 为什么不能把所有图片都映射成同一个向量？](/course/pages/l3-r2-p11.html) · [P18 · 方法不是一条封闭的家谱](/course/pages/l3-r2-p18.html)[独立阅读](/course/blocks/teacher-target-source-and-collapse.html) ## [模拟问答：旧 key 还能比较吗？](/course/blocks/moco-point-at-the-figure-dialogue.html) 模拟学生追问图中哪些键来自旧批次、编码器变化后为何仍能比较。回答沿队列槽位与参数更新两类箭头展开，直接指出移动平均缓和漂移、先进先出替换向量各负责什么。 [P17 · 把一次学习完整走通](/course/pages/l3-r2-p17.html)[独立阅读](/course/blocks/moco-point-at-the-figure-dialogue.html) ## [模拟问答：不知道的地方为何还有位置？](/course/blocks/mae-position-dialogue.html) 模拟问答从隐藏像素未知但位置已知出发，解释解码器为什么仍有完整位置列表。区分占位、位置线索和损失端真值，再连接重建后的冻结读出，补上从补图到用途评价的理解桥梁。 [P21 · 解码器补位置，目标来自原图](/course/pages/l3-r2-p21.html)[独立阅读](/course/blocks/mae-position-dialogue.html) ## [第六讲预备阅读：怎样把一次更新分给多设备](/course/blocks/training-systems-later-reading.html) 两个设备的梯度合并算例比较等大与不等大本地批次，展示同一全局更新为何需要正确加权。它作为第六讲预备阅读，连接状态分片与通信，不作为理解对比学习的前置门槛。 [P07 · 目标可以扩展，训练还要做得出来](/course/pages/l3-r2-p07.html)[独立阅读](/course/blocks/training-systems-later-reading.html) ## [选读：结构与遮挡目标为什么要共同设计](/course/blocks/architecture-objective-co-design.html) ConvNeXt V2 将遮挡输入的组织方式与通道响应设计共同调整。原论文中两种架构、两种训练路线的对照提供目标与结构联合设计的研究例子，并保留预训练预算不同这一解释条件。 [P19 · 另一条路线：根据可见内容预测缺失](/course/pages/l3-r2-p19.html) · [P22 · 能补图，不等于每项任务都读得好](/course/pages/l3-r2-p22.html)[独立阅读](/course/blocks/architecture-objective-co-design.html) ## [同一场景中，究竟多交付了什么信息？](/course/blocks/spatial-four-answers.html) 同一双杯场景可交付类别列表、检测框、语义地图和实例地图，分别服务识别、定位、面积与计数。比较这些答案保留的内容及不能唯一反推的部分，明确选择输出格式的依据。 [P25 · 同一张图，四种不同的答案](/course/pages/l3-r2-p25.html)[独立阅读](/course/blocks/spatial-four-answers.html) ## [特征图上的地址、通道与感受野](/course/blocks/spatial-feature-address.html) 特征图的空间索引决定从哪里读，通道保存该处的多种响应；步长与感受野又描述不同关系。用网格与全局平均的比较，说明定位任务为何关心取表示的位置，而非只关心向量长度。 [P26 · 位置还在特征图里吗？](/course/pages/l3-r2-p26.html)[独立阅读](/course/blocks/spatial-feature-address.html) ## [R-CNN 迁移的是已学会的视觉计算](/course/blocks/rcnn-transfer-pipeline.html) 候选区域被变换成分类网络可处理的小图，已学视觉参数于是能用于区域分类和框修正。追踪局部尺度、上下文与逐区域计算的取舍，并用原论文检测成绩说明分类预训练的迁移价值。 [P27 · R-CNN：让已经会看图的网络看一个区域](/course/pages/l3-r2-p27.html)[独立阅读](/course/blocks/rcnn-transfer-pipeline.html) ## [候选区域先追求覆盖，再由检测头作判断](/course/blocks/proposal-coverage.html) 候选区域只提供值得检查的位置，还不是最终对象。两只杯子中若一只从未被候选覆盖，后续分类便受限；候选召回、重复数量与计算成本的比较帮助定位漏检究竟发生在哪一步。 [P28 · 候选区域不是已经识别出的物体](/course/pages/l3-r2-p28.html)[独立阅读](/course/blocks/proposal-coverage.html) ## [参数复用与一次前向结果的复用](/course/blocks/shared-convolution-reuse.html) 重叠裁剪使用相同参数仍会重复执行卷积；整图共享特征让多个区域复用同一次前向结果。两种计算路径的成本与上下文比较，区分过去参数的迁移和当前中间结果的复用。 [P29 · 许多重叠区域，为什么要重复卷积？](/course/pages/l3-r2-p29.html)[独立阅读](/course/blocks/shared-convolution-reuse.html) ## [同样是 2×2 输出，读到的内容可以不同](/course/blocks/roi-fixed-grid-example.html) 大小不同的两个区域都分成二乘二网格，得到同形状却不同数值的区域读出。教学矩阵的逐格最大值说明固定长度接口如何保留相对位置，也为后续非整数边界的采样问题作准备。 [P30 · 不同大小的区域，怎样读成固定结构？](/course/pages/l3-r2-p30.html)[独立阅读](/course/blocks/roi-fixed-grid-example.html) ## [共享特征怎样收到每个区域的训练反馈](/course/blocks/fast-rcnn-two-heads.html) 每个区域分别产生类别与框偏移，损失再沿各自读出共同更新共享骨干。正例与背景承担不同训练目标，这种组织减少重复卷积，并让外部候选产生成为下一段可改进的计算。 [P31 · Fast R-CNN：把区域放回共享计算中](/course/pages/l3-r2-p31.html)[独立阅读](/course/blocks/fast-rcnn-two-heads.html) ## [参考框、候选框与最终检测框](/course/blocks/rpn-three-boxes.html) 参考框是预设几何起点，候选框是 RPN 的预测，最终框由后级区域头交付，真值只在监督与评价中使用。分清四种矩形身份，才能看见 Faster R-CNN 具体把哪段候选过程变成了学习。 [P32 · Faster R-CNN：让候选区域也成为预测](/course/pages/l3-r2-p32.html)[独立阅读](/course/blocks/rpn-three-boxes.html) ## [为什么要有正例、背景和忽略项](/course/blocks/anchor-training-assignment.html) 参考框按重叠程度分为正例、背景和忽略项，只有匹配正例承担位置回归。阈值、强制覆盖、空图和难负例采样的例子，解释怎样给每个对象提供训练反馈而不把模糊区域强行标错。 [P32 · Faster R-CNN：让候选区域也成为预测](/course/pages/l3-r2-p32.html) · [P33 · 位置怎样成为可学习的目标？](/course/pages/l3-r2-p33.html)[独立阅读](/course/blocks/anchor-training-assignment.html) ## [框回归的四个数怎样编码与还原](/course/blocks/box-offset-roundtrip.html) 把参考框中心四十、宽四十变为目标中心四十八、宽四十八，能逐项算出归一化中心偏移与对数宽高比。编码后再还原坐标，检验尺度系数、连续边界和预测张量的约定是否相容。 [P33 · 位置怎样成为可学习的目标？](/course/pages/l3-r2-p33.html)[独立阅读](/course/blocks/box-offset-roundtrip.html) ## [NMS 不看真值，评价匹配必须看真值](/course/blocks/nms-versus-matching.html) 同一杯子的三个预测框按分数排序，在阈值零点五时只保留最高项；另一个蓝杯框继续保留。改变阈值后重复与漏检可能同时变化，说明 NMS 整理预测与真值匹配评价的不同职责。 [P34 · 三个框，并不代表三只杯子](/course/pages/l3-r2-p34.html)[独立阅读](/course/blocks/nms-versus-matching.html) ## [同样移动一个单位，小框为什么更吃亏](/course/blocks/iou-and-small-boxes.html) 同样横移一个单位，边长十的框仍有较高重叠，边长二的框却只剩三分之一 IoU。面积算例解释小目标对定位偏差更敏感，并连接错类、漏检、框偏与重复的分项诊断。 [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html)[独立阅读](/course/blocks/iou-and-small-boxes.html) ## [三个预测怎样变成 AP=5/6](/course/blocks/ap-ranking-example.html) 两个真值、三个按分数排列的预测依次为命中、重复、命中，可逐步得到精度与召回，并算出 AP 为六分之五。把重复框移到排序末尾的对照，说明分数次序为什么影响整体检测评价。 [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html)[独立阅读](/course/blocks/ap-ranking-example.html) ## [从 RGB 到框：当前 LAB10 已经具备完整闭环](/course/blocks/detector-learning-evidence.html) 现有 LAB 10 从合成 RGB 图像学习对象类别和框偏移，已有训练记录覆盖匹配、损失、预测与保留评价。原尺度明显改善而小尺度下降的对照，既展示完整检测闭环，也指出具体失败条件。 [P32 · Faster R-CNN：让候选区域也成为预测](/course/pages/l3-r2-p32.html) · [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html)[独立阅读](/course/blocks/detector-learning-evidence.html) ## [同一检测器改变 NMS，召回为何变好而精度变差](/course/blocks/nms-measured-tradeoff.html) 同一检测器只放宽 NMS 阈值，已保存结果显示召回补齐、固定工作点精度却大幅下降。新增框中既有对象也有重复，结合分数排序与工作点指标，可以解释为何更多预测没有单一好坏。 [P34 · 三个框，并不代表三只杯子](/course/pages/l3-r2-p34.html) · [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html)[独立阅读](/course/blocks/nms-measured-tradeoff.html) ## [FCN 直接学习一张类别地图](/course/blocks/fcn-independent-route.html) FCN 把分类计算改成空间类别分数图，让每个像素接受监督并在原图位置作判断。它与区域检测并行发展，展示可迁移表示怎样通过不同输出头服务面积、边界等像素任务。 [P36 · FCN：另一条路线，直接为像素作预测](/course/pages/l3-r2-p36.html)[独立阅读](/course/blocks/fcn-independent-route.html) ## [每个有效像素提供一项监督](/course/blocks/pixel-cross-entropy.html) 每个有效像素的类别提供一项交叉熵，未标注位置从损失和指标中排除。张量形状、忽略标签与图像掩码同步变换的例子，说明训练前必须守住哪几项像素对应关系。 [P36 · FCN：另一条路线，直接为像素作预测](/course/pages/l3-r2-p36.html) · [P37 · 输出变细，不意味着信息自动变多](/course/pages/l3-r2-p37.html)[独立阅读](/course/blocks/pixel-cross-entropy.html) ## [上采样改变读数位置，跨层连接提供额外证据](/course/blocks/upsampling-versus-new-evidence.html) 最近邻与双线性改变粗特征的读取位置，跨层连接则引入另一份细层证据。沿对齐、融合到像素预测的流程，区分输出变密和信息来源增加，解释细边界为何需要检查实际特征与任务训练。 [P37 · 输出变细，不意味着信息自动变多](/course/pages/l3-r2-p37.html) · [P38 · 让细位置与深层语义重新配合](/course/pages/l3-r2-p38.html)[独立阅读](/course/blocks/upsampling-versus-new-evidence.html) ## [0.667 是前景 IoU，0.75 才是本例两类 mIoU](/course/blocks/mask-iou-worked-example.html) 已知掩码降采样再放大后，十六个真前景全部命中，却多出八个假前景。由这组计数分别算出前景 IoU、背景 IoU、两类均值与准确率，明确采样练习的输入身份及指标口径。 [P37 · 输出变细，不意味着信息自动变多](/course/pages/l3-r2-p37.html)[独立阅读](/course/blocks/mask-iou-worked-example.html) ## [同一组分割实验里，简单模型为何值得留下](/course/blocks/pixel-model-positive-result.html) 已有合成分割实验中，十二参数的逐像素颜色基线在清晰图上已足够，模糊后小型 FCN 更稳健。相同输入干预揭示邻域结构真正增加能力的条件，也说明简单基线为何不可省略。 [P36 · FCN：另一条路线，直接为像素作预测](/course/pages/l3-r2-p36.html) · [P38 · 让细位置与深层语义重新配合](/course/pages/l3-r2-p38.html)[独立阅读](/course/blocks/pixel-model-positive-result.html) ## [像素准确率很高，为什么小对象仍可能很差](/course/blocks/small-object-confusion.html) 只有百分之一像素属于目标时，全部猜背景也有百分之九十九准确率。再读已有小尺度分割结果中的逐类 IoU 与错误图，可以发现整体高分掩盖的细目标、窄缝和边界问题。 [P38 · 让细位置与深层语义重新配合](/course/pages/l3-r2-p38.html)[独立阅读](/course/blocks/small-object-confusion.html) ## [从实例到类别容易，反过来不唯一](/course/blocks/instance-identity-map.html) 两种不同的杯子实例划分都能映射成同一条杯子类别行，类别图因而不能唯一恢复对象身份。接触与遮挡进一步说明连通域的适用条件，解释为何实例分割需要把区域身份和像素轮廓结合。 [P39 · 两个同类对象，需要两份身份](/course/pages/l3-r2-p39.html)[独立阅读](/course/blocks/instance-identity-map.html) ## [一个 RoI 的三项输出，为什么不是三个类别标签](/course/blocks/mask-branch-target.html) 同一 RoI 的类别、四个框偏移和二维实例掩码回答不同问题。区域任务头读取共享特征中的局部布局，掩码只标指定对象，即使框内露出另一只同类杯子，也不能把两者混为一个目标。 [P40 · Mask R-CNN：区域内部，也保留二维结构](/course/pages/l3-r2-p40.html)[独立阅读](/course/blocks/mask-branch-target.html) ## [35 除以 16 之后，为什么不应急着取整](/course/blocks/roi-coordinate-conventions.html) 原图坐标三十五除以步长十六得到连续位置，立即取整会产生三个原图像素的偏移。追踪框边界、分箱和采样点，说明坐标对齐为何重要，并提醒实际库需核对半像素与边界约定。 [P41 · 三个像素的偏移，为什么会伤到轮廓？](/course/pages/l3-r2-p41.html)[独立阅读](/course/blocks/roi-coordinate-conventions.html) ## [四个邻点如何读出 2.5](/course/blocks/bilinear-four-neighbors.html) 四个邻点值为零、二、四、六，按横向四分之一、纵向二分之一的位置读取，可得二点五。两次线性插值与四点权重给出同一结果，把几何位置直接对应到 RoIAlign 的局部读数。 [P42 · 连续位置的数值，怎样从四个邻点得到？](/course/pages/l3-r2-p42.html)[独立阅读](/course/blocks/bilinear-four-neighbors.html) ## [同一只杯子换了 RoI，局部标签也要跟着换](/course/blocks/local-mask-coordinate-target.html) 同一杯子不动，只改变 RoI 的宽度或位置，它在局部掩码中的比例与坐标就会改变。训练标签裁取和推理映回必须使用同一框，才能保持对象身份、区域特征与像素目标的对应。 [P43 · 同一只杯子，换一个区域就换一份局部目标](/course/pages/l3-r2-p43.html)[独立阅读](/course/blocks/local-mask-coordinate-target.html) ## [原论文的对照：对齐改善了哪些指标](/course/blocks/roi-align-paper-evidence.html) 原论文在同一骨干与聚合方式下比较 RoIPool、RoIWarp 和 RoIAlign。已有插值但未保留对齐的方案改善较小，而对齐方案提高严格定位成绩，提供坐标读取有效性的正面实证。 [P42 · 连续位置的数值，怎样从四个邻点得到？](/course/pages/l3-r2-p42.html) · [P43 · 同一只杯子，换一个区域就换一份局部目标](/course/pages/l3-r2-p43.html)[独立阅读](/course/blocks/roi-align-paper-evidence.html) ## [两个输入一旦碰撞，确定性读出为何无法分开](/course/blocks/representation-collision-proof.html) 左右相反的两张图若都只编码成整体均值，固定相同框和读取器后必然得到相同输出。这个精确碰撞说明复制或插值无法创造已丢失的差别，也区分信息缺失与读取错位两种瓶颈。 [P44 · 两种布局，如果已经变成同一个数](/course/pages/l3-r2-p44.html)[独立阅读](/course/blocks/representation-collision-proof.html) ## [一个空间格子也能保存左右差异](/course/blocks/channel-retains-left-right.html) 在整体均值之外增加左右差通道，两张反向亮列图就得到不同符号，即使空间尺寸仍为一乘一。手算构造说明保留任务统计比单看网格大小更关键，并指出这些统计仍不足以恢复任意图案。 [P45 · 多一个通道，和多几个像素不是同一回事](/course/pages/l3-r2-p45.html)[独立阅读](/course/blocks/channel-retains-left-right.html) ## [备课推演：对齐有用，为什么问卷里又不能恢复？](/course/blocks/roi-information-dialogue.html) 模拟追问把论文中的对齐收益与相同均值无法恢复布局放在一起比较。教师沿已有空间线索、相同输入和新增差分通道分别解释，让学生能指出两种结论成立时各自固定了什么条件。 [P43 · 同一只杯子，换一个区域就换一份局部目标](/course/pages/l3-r2-p43.html) · [P44 · 两种布局，如果已经变成同一个数](/course/pages/l3-r2-p44.html) · [P45 · 多一个通道，和多几个像素不是同一回事](/course/pages/l3-r2-p45.html)[独立阅读](/course/blocks/roi-information-dialogue.html) ## [SAM 的提示回答“这次要哪一块”](/course/blocks/sam-prompt-contract.html) 正点、负点、框和已有掩码分别约束本次想选的区域，但一个点仍可能指向部件或整体。图像编码缓存与轻量提示解码的接口说明交互为何高效，也解释多候选掩码怎样容纳粒度歧义。 [P46 · SAM：把“分哪一块”交给提示](/course/pages/l3-r2-p46.html)[独立阅读](/course/blocks/sam-prompt-contract.html) ## [MAE 提供起点，掩码任务训练学会怎样响应提示](/course/blocks/sam-task-training.html) MAE 预训练提供视觉起点，图像、目标掩码与模拟提示的训练才建立按提示分割的能力。追踪错误区域追加点、掩码损失和数据生产过程，说明使用时的交互怎样获得训练中的对应练习。 [P47 · 可复用表示，还要经过任务训练](/course/pages/l3-r2-p47.html)[独立阅读](/course/blocks/sam-task-training.html) ## [LAB16：颜色连通域让提示的作用变得透明](/course/blocks/sam-rule-baseline-explained.html) 颜色容差、连通域、负点与框能从真实像素产生不同掩码，已有面积变化可由规则逐项解释。这项透明基线让提示的作用可观察，同时明确它没有可学习参数，也没有调用 SAM 权重。 [P46 · SAM：把“分哪一块”交给提示](/course/pages/l3-r2-p46.html) · [P47 · 可复用表示，还要经过任务训练](/course/pages/l3-r2-p47.html)[独立阅读](/course/blocks/sam-rule-baseline-explained.html) ## [从空间地址到语言请求，还缺哪一种对应](/course/blocks/spatial-to-language-interface.html) 共享特征、区域身份与点框提示已经提供空间接口，自然语言还需建立对象、属性、参照物和关系的对应。把测面积、操作对象与按语言选择对象并列，说明下一部分新增的任务条件是什么。 [P48 · 从物体位置，走向可以说出来的任务](/course/pages/l3-r2-p48.html)[独立阅读](/course/blocks/spatial-to-language-interface.html) ## [选读：一阶段检测保留了哪些相同问题](/course/blocks/dense-detector-ssd-extension.html) 一阶段检测在网格上直接预测类别和偏移，仍需几何参考、匹配、负例处理与评价。输出数量和排列的算例连接 TinySSD 与单层教学检测器，帮助读懂实验代码而不另开主讲专题。 [P32 · Faster R-CNN：让候选区域也成为预测](/course/pages/l3-r2-p32.html) · [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html)[独立阅读](/course/blocks/dense-detector-ssd-extension.html) ## [选读：FCN、U-Net、FPN 的连接究竟送来了什么](/course/blocks/multiscale-architecture-comparison.html) FCN、U-Net 和 FPN 都连接不同尺度，但送入的信息、对齐方式与服务目标不同。沿细层来源、相加或拼接、预测输出比较这些结构，才能判断一条跳连实际给模型增加了什么。 [P38 · 让细位置与深层语义重新配合](/course/pages/l3-r2-p38.html)[独立阅读](/course/blocks/multiscale-architecture-comparison.html) ## [选读：难例权重和对象匹配不是一件事](/course/blocks/focal-versus-assignment.html) 难例权重改变哪些分类样本贡献更多损失，对象匹配决定预测槽位负责哪项真值。两个概率权重和二乘二成本矩阵的算例，将训练关注度与无序对象对应拆成两个独立问题。 [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html) · [P38 · 让细位置与深层语义重新配合](/course/pages/l3-r2-p38.html)[独立阅读](/course/blocks/focal-versus-assignment.html) ## [LAB20 的两个槽位为何应交叉匹配](/course/blocks/set-matching-real-inputs.html) 两个预测的空间位置与类别顺序恰好和真值数组相反，逐项构造分类、框距离和重叠成本后，交叉匹配明显更低。练习解释集合对应为何不应依赖数组顺序，也区分匹配成功与检测正确。 [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html) · [P39 · 两个同类对象，需要两份身份](/course/pages/l3-r2-p39.html)[独立阅读](/course/blocks/set-matching-real-inputs.html) ## [这条主线的课后顺序：先看输出，再做一项完整实验](/course/blocks/spatial-study-route.html) 空间主线可由同场景四种输出接到坐标对齐和表示碰撞，再按位置或面积需求选择检测、分割中的一项完整实验。公式工作台与轻量规则练习按问题回查，避免必须顺序运行所有 Notebook。 [P25 · 同一张图，四种不同的答案](/course/pages/l3-r2-p25.html) · [P35 · 检测错在哪里，要分开看](/course/pages/l3-r2-p35.html) · [P38 · 让细位置与深层语义重新配合](/course/pages/l3-r2-p38.html) · [P48 · 从物体位置，走向可以说出来的任务](/course/pages/l3-r2-p48.html)[独立阅读](/course/blocks/spatial-study-route.html) ## [同一幅图像的四种任务契约](/course/blocks/vl-task-contracts.html) 保持两个人和一个球的图像不变，描述、匹配、指代与问答需要不同输入条件、输出和监督。任务对照说明语言可以是答案、学习信号或当前请求，而一个相似度分数不能自动替代这些接口。 [P49 · 同一幅画面，语言提出不同的问题](/course/pages/l3-r2-p49.html)[独立阅读](/course/blocks/vl-task-contracts.html) ## [2014—2016：组件到位后，新的研究问题怎样出现](/course/blocks/vl-history-convergence.html) 视觉特征、文字预测与图文资料在二〇一四至二〇一六年前后形成可复用条件，描述、区域对齐和问答由此各有可测任务。沿公开研究成果理解交汇过程，不把不同系统误排成单线升级史。 [P50 · 2014—2016：几条准备已久的路线相遇](/course/pages/l3-r2-p50.html)[独立阅读](/course/blocks/vl-history-convergence.html) ## [图像条件怎样进入一个可变长度答案](/course/blocks/caption-conditioned-token.html) 图像编码与已有文字共同决定下一词，模型从开始符号持续生成直到结束。两人场景的不同合理描述说明训练学习的是图像条件下的表达分布，并把参考词教学示意与自由生成过程分开。 [P51 · 图像描述：视觉内容怎样成为一句话？](/course/pages/l3-r2-p51.html)[独立阅读](/course/blocks/caption-conditioned-token.html) ## [训练前缀、EOS 与 PAD：损失究竟算在哪些位置](/course/blocks/caption-shift-and-stop.html) 一句红方块描述的输入与目标错开一位，逐项对应每次允许看到的前缀和待预测词。结束符号承担停止监督，填充符号只为对齐存储；训练真实前缀与推理自身前缀也需要分别评价。 [P51 · 图像描述：视觉内容怎样成为一句话？](/course/pages/l3-r2-p51.html)[独立阅读](/course/blocks/caption-shift-and-stop.html) ## [已保存的条件生成实验：视觉输入确实改变了句子](/course/blocks/caption-visual-controls.html) 已有小型图像描述模型在正确图像、零像素与错配图像条件下呈现明显不同的整句结果。固定前缀的真实生成说明视觉输入参与了有限任务，同时把新渲染泛化与未见组合泛化分开。 [P51 · 图像描述：视觉内容怎样成为一句话？](/course/pages/l3-r2-p51.html)[独立阅读](/course/blocks/caption-visual-controls.html) ## [DCC：分别认识物体和词语，为什么还不会组合描述](/course/blocks/caption-compositional-gap.html) 视觉分类器认识零件、文字语料包含名称，并不自动建立何时应在描述中使用该词的联系。DCC 的配对资料缺口说明独立视觉知识和文字知识怎样通过额外迁移机制组合成描述能力。 [P52 · 认识一个物体，为什么未必会把它说出来？](/course/pages/l3-r2-p52.html)[独立阅读](/course/blocks/caption-compositional-gap.html) ## [从整图相关到局部对应：名词与关系不是同一层信息](/course/blocks/region-word-alignment.html) 整图相关性没有指定红衣人、球与持球关系分别对应哪里。区域候选把实体对齐变成可学习对象，改变句子而保持实体框的例子，则进一步区分找到名词与正确绑定关系。 [P53 · 一句话里的词，指向图中的哪一部分？](/course/pages/l3-r2-p53.html)[独立阅读](/course/blocks/region-word-alignment.html) ## [VQA：同图换问题，同问换图](/course/blocks/vqa-question-selects-information.html) 同图换问决定要读取数量、颜色还是关系，同问换图检验答案是否跟随视觉内容。问题先验与成对图像的比较说明 VQA 如何利用两种条件，也区分读取像素与读取已知场景属性。 [P54 · VQA：问题决定此刻需要哪一项信息](/course/pages/l3-r2-p54.html)[独立阅读](/course/blocks/vqa-question-selects-information.html) ## [已保存的像素 VQA：为什么 44.44% 是结构化基线](/course/blocks/vqa-pixel-evidence.html) 已有像素问答模型在三种模板任务上使用正确图像，问题单独输入和图像干预则显著改变结果。按每类问题的答案范围计算基线，解释相同总分为何仍可能对应不同的错误来源。 [P54 · VQA：问题决定此刻需要哪一项信息](/course/pages/l3-r2-p54.html)[独立阅读](/course/blocks/vqa-pixel-evidence.html) ## [ViLBERT：把已有区域和文字表示变成可迁移的联合起点](/course/blocks/vilbert-components-and-transfer.html) 检测器的区域特征与文字预训练的表示提供两种起点，联合目标再学习它们的对应。ViLBERT 的多任务适配展示跨模态表示可以复用，说明向量维度相同与语义接口可用之间还隔着训练。 [P55 · 区域表示与语言预训练，有了可连接的部件](/course/pages/l3-r2-p55.html)[独立阅读](/course/blocks/vilbert-components-and-transfer.html) ## [CLIP：文字怎样从标签表变成学习信号](/course/blocks/clip-pairing-objective.html) CLIP 用图文资料中的配对身份构造双编码器学习任务，文字由固定标签名单扩展为对象、属性和动作描述。训练后比较接口可接受新文字候选，让语言参与指定下游任务。 [P56 · CLIP 选择的任务：先学哪幅图与哪段话相配](/course/pages/l3-r2-p56.html)[独立阅读](/course/blocks/clip-pairing-objective.html) ## [三对图文的双向损失：从单位向量到 0.09567](/course/blocks/clip-matrix-worked.html) 三对单位向量构造出可实现的余弦矩阵，沿图找文和文找图分别计算概率，得到约零点零九五七的双向损失。完整算例明确轴身份、温度和平均方式，不把示意矩阵当作真实模型输出。 [P57 · 一张相似度矩阵，连接训练和使用](/course/pages/l3-r2-p57.html)[独立阅读](/course/blocks/clip-matrix-worked.html) ## [换候选、换模板、换图像：三个不同干预](/course/blocks/clip-candidate-probability.html) 零样本用法是不使用当前下游数据集再训练模型，直接用已有编码器比较文字候选。猫狗算例把增加候选、改模板和换图像拆成三种干预，解释点积不变时归一化分数仍会变化。 [P58 · 用文字组织类别，而不是重做一张固定标签表](/course/pages/l3-r2-p58.html)[独立阅读](/course/blocks/clip-candidate-probability.html) ## [真实猫图结果：保留模型、照片与历史身份](/course/blocks/clip-real-checkpoint-evidence.html) 真实猫照片与固定 CLIP 权重的已有记录显示，增加候选保持猫的余弦却改变其相对分数，删除猫后其他选项成为最高项。模型、图片和预处理身份齐备，结果才可接到后续表示缓存实验。 [P58 · 用文字组织类别，而不是重做一张固定标签表](/course/pages/l3-r2-p58.html) · [P59 · 匹配还可以变成图文检索](/course/pages/l3-r2-p59.html)[独立阅读](/course/blocks/clip-real-checkpoint-evidence.html) ## [检索为什么能缓存：每张图编码一次，查询再比较](/course/blocks/retrieval-cache-interface.html) 图像向量不依赖当前文字查询，因此图库可编码一次、查询到来后再比较。二十四张图与十二条查询的工作量和存储算例，区分编码复用、点积搜索及需要重建缓存的条件。 [P59 · 匹配还可以变成图文检索](/course/pages/l3-r2-p59.html)[独立阅读](/course/blocks/retrieval-cache-interface.html) ## [Hit、Recall 与 exact 重合率，各自在问什么](/course/blocks/retrieval-metric-contract.html) 四个相关猫裁剪中命中两个，可以同时得到满分 Hit 和二分之一 Recall；近似检索与精确前三名的重合率又回答另一问题。具体集合算例解释语义命中和索引逼近为何必须分别报告。 [P59 · 匹配还可以变成图文检索](/course/pages/l3-r2-p59.html)[独立阅读](/course/blocks/retrieval-metric-contract.html) ## [选读：省搜索和增加图文交互，是不同方向](/course/blocks/retrieval-approximation-and-interaction.html) 分簇索引减少扫描却可能在小图库里增加耗时，查询加权区域则增加条件交互但未必保留左右关系。已有结果把搜索成本、区域聚合和联合编码分开，作为第八讲检索的预备阅读。 [P59 · 匹配还可以变成图文检索](/course/pages/l3-r2-p59.html)[独立阅读](/course/blocks/retrieval-approximation-and-interaction.html) ## [从网页文字到训练对应：数据扩大了什么](/course/blocks/clip-supervision-supply.html) 网页图文扩大了监督来源，但相关文字未必完整标注画面中的所有对象与关系。区分原始 CLIP 数据、LAION 与 OpenCLIP 的身份，说明收集、过滤与开放实现怎样共同塑造学习机会。 [P60 · 图文数据不是一堆没有来历的图片](/course/pages/l3-r2-p60.html)[独立阅读](/course/blocks/clip-supervision-supply.html) ## [正面证据：自然语言监督确实拓宽了下游接口](/course/blocks/clip-positive-transfer-evidence.html) 原始 CLIP 的多数据集评价表明，已有图文编码器可通过文字描述指定下游分类任务，而不使用当前下游数据集再训练模型。这项正面迁移证据解释语言接口拓宽了什么，也保留候选和数据覆盖条件。 [P56 · CLIP 选择的任务：先学哪幅图与哪段话相配](/course/pages/l3-r2-p56.html) · [P60 · 图文数据不是一堆没有来历的图片](/course/pages/l3-r2-p60.html)[独立阅读](/course/blocks/clip-positive-transfer-evidence.html) ## [两次成功为何仍有两个解释](/course/blocks/relation-competing-rules.html) 两张都由左侧人物持球的图，让按持球者颜色判断和只看左侧颜色两条规则同时答对。写出各自预测后，可见现有成功尚未区分机制；更有信息量的下一张图应让两条规则发生分歧。 [P61 · 前两张图都选对，究竟说明了什么？](/course/pages/l3-r2-p61.html)[独立阅读](/course/blocks/relation-competing-rules.html) ## [四条件怎样让解释分叉，哪些变化仍然绑定](/course/blocks/relation-four-condition-table.html) 把持球位置与衣色安排成交叉四格，右侧持球的两格使关系规则和左色规则给出不同答案。逐格预测说明干预怎样增加解释力，同时交代当前镜像素材仍绑定朝向、光照和人物身份。 [P62 · 把位置与关系拆开，解释才会分叉](/course/pages/l3-r2-p62.html)[独立阅读](/course/blocks/relation-four-condition-table.html) ## [真实 CLIP 关系反例与规则四格，应分开读](/course/blocks/clip-spatial-counterexample.html) 固定 CLIP 在猫与宇航员左右拼贴上的已有分数暴露了一次关系绑定失败，而持球四格是另一份规则预测表。连同输入与候选核对这些证据，可以把对象匹配成功和细粒度关系局限同时保留。 [P62 · 把位置与关系拆开，解释才会分叉](/course/pages/l3-r2-p62.html)[独立阅读](/course/blocks/clip-spatial-counterexample.html) ## [“蓝杯左边的杯子”：目标、参照物、关系三者分开](/course/blocks/grounding-target-reference-relation.html) 蓝杯左边的杯子中，蓝杯是参照物，目标还须满足杯子类别与左侧关系。用红杯、蓝杯和书的坐标逐项筛选，解释关键词规则为何错选参照物，以及缺失或多义目标应怎样处理。 [P63 · GLIP：不只说相关，还要指出区域](/course/pages/l3-r2-p63.html)[独立阅读](/course/blocks/grounding-target-reference-relation.html) ## [已保存的指代实验：从像素提框后再应用关系](/course/blocks/grounding-pixel-interventions.html) 已有规则系统从 RGB 像素提取候选框，再按目标、参照物与关系选择对象。遮挡、换色和只改问句的干预展示视觉候选与语言约束各自的作用，并明确它是透明规则而非训练过的 GLIP。 [P63 · GLIP：不只说相关，还要指出区域](/course/pages/l3-r2-p63.html)[独立阅读](/course/blocks/grounding-pixel-interventions.html) ## [GLIP：把类别和短语都放到对象级定位任务中](/course/blocks/glip-language-objective.html) GLIP 把检测类别和短语都接到对象级定位训练，语义匹配同时受到位置目标约束。原论文迁移结果支持开放文字定位接口，而选错对象与轮廓粗糙的对照说明定位和后续分割仍须分开检查。 [P63 · GLIP：不只说相关，还要指出区域](/course/pages/l3-r2-p63.html)[独立阅读](/course/blocks/glip-language-objective.html) ## [LLaVA 的连接层：把视觉向量接入已有语言空间](/course/blocks/llava-visual-vector-interface.html) 原始 LLaVA 将一组 CLIP 网格特征经线性投影接入语言模型，传递的是视觉向量而非类别标签。矩阵维度与坐标系类比解释为什么形状接得上还不够，需要训练学会按图使用这些输入。 [P64 · 把视觉表示接入一个已经会说话的模型](/course/pages/l3-r2-p64.html)[独立阅读](/course/blocks/llava-visual-vector-interface.html) ## [原始 LLaVA 两阶段：学习接口，再学习视觉指令](/course/blocks/llava-two-stage-freezing.html) 原始 LLaVA 的对齐阶段只更新投影，指令阶段再更新语言模型，两阶段都冻结视觉编码器。按模块追踪更新范围和回答目标，说明冻结主干仍可学习新的视觉信息使用方式。 [P65 · 连接层与任务使用方式，都需要训练](/course/pages/l3-r2-p65.html)[独立阅读](/course/blocks/llava-two-stage-freezing.html) ## [视觉指令数据：问题和答案中的事实从哪里来](/course/blocks/llava-instruction-source.html) 原始 LLaVA 的部分指令由图像描述和对象框等文字记录辅助生成，数据制作模型并未直接看图。比较这些记录能支持的问题与仍缺事实的问题，说明丰富任务形式如何依赖可追溯的视觉依据。 [P65 · 连接层与任务使用方式，都需要训练](/course/pages/l3-r2-p65.html)[独立阅读](/course/blocks/llava-instruction-source.html) ## [三条线怎样汇合：复用的是哪些具体资产](/course/blocks/technology-reuse-not-replacement.html) SAM 复用 MAE 起点、ViLBERT 复用区域特征、LLaVA 复用 CLIP 视觉编码器，分别连接本讲三条主线。指出已有资产和仍缺对应，能把新研究问题落到数据、接口、目标或评价的具体改动。 [P66 · 回看这段历史：留下来的不是一个网络名字](/course/pages/l3-r2-p66.html)[独立阅读](/course/blocks/technology-reuse-not-replacement.html) ## [把“已有能力可迁移”改写成一个能被检验的研究问题](/course/blocks/research-question-split-evidence.html) 同一批次合成数据随机切分时，记批次均值表现很好；整批次留出后，其优势消失。两种基线和两份成绩单把未来预测条件变成可检验问题，解释评价切分如何决定所谓迁移能力的含义。 [P66 · 回看这段历史：留下来的不是一个网络名字](/course/pages/l3-r2-p66.html)[独立阅读](/course/blocks/research-question-split-evidence.html) ## [一句描述限定一组可能图像，为什么需要生成问题](/course/blocks/generation-one-condition-many-results.html) 红杯在木桌上的文字条件仍允许不同杯型、光照和视角，三幅合理图像展示多解性。检索已有图与生成新图需要不同输出过程；接续已经生成文字的 caption，第四讲将进一步研究合理多样性。 [P67 · 同一句描述，为什么可以有很多张正确图像？](/course/pages/l3-r2-p67.html)[独立阅读](/course/blocks/generation-one-condition-many-results.html) ## [一个可算的多解例子：最小均方误差为何给出不存在的结果](/course/blocks/conditional-mean-is-not-sample.html) 同一条件下真实结果只取负一或正一，平方误差最优的确定输出却是从不出现的零。再与正确随机采样比较，说明配对误差不等于分布质量，生成评价还需看条件满足、合理性和多样性。 [P67 · 同一句描述，为什么可以有很多张正确图像？](/course/pages/l3-r2-p67.html) · [P68 · 下一讲：怎样学习可能性，并产生一个样本？](/course/pages/l3-r2-p68.html)[独立阅读](/course/blocks/conditional-mean-is-not-sample.html) ## [后续阅读：学习目标、模型架构和采样方式分别是什么](/course/blocks/generation-following-course-map.html) 生成课将比较怎样学习一组可能结果并产生样本，架构、训练反馈和采样方式分别承担不同职责。自回归、GAN、VAE 与扩散作为后续入口，注意力、训练系统和检索则各有对应课程位置。 [P68 · 下一讲：怎样学习可能性，并产生一个样本？](/course/pages/l3-r2-p68.html)[独立阅读](/course/blocks/generation-following-course-map.html) ## [选读：局部最高概率为何不保证整句最高概率](/course/blocks/caption-decoding-later.html) 一棵归一化概率树中，逐步选最高概率得到的完整路径，可能低于保留两个前缀后找到的路径。手算例子解释贪心与束搜索的差别，再把搜索错误和模型对图像的理解错误分开。 [P51 · 图像描述：视觉内容怎样成为一句话？](/course/pages/l3-r2-p51.html) · [P68 · 下一讲：怎样学习可能性，并产生一个样本？](/course/pages/l3-r2-p68.html)[独立阅读](/course/blocks/caption-decoding-later.html)