补充与后续阅读

P01 · 训练结束后，网络留下了什么？

• 可迁移表示与多模态感知 · 本页说明

P02 · 类别答案，不等于中间表示

• 我们已经会更新网络，答案从哪里来？ · 本页说明

P03 · 图片已经很多，答案从哪里来？

• 同一张图，三种答案需要三种判断 · 本页说明
• 监督预算不是图像数量｜问题从哪里出现 · L03补充阅读
• 监督预算不是图像数量｜核心改动怎样工作 · L03补充阅读
• 监督预算不是图像数量｜一起算一个完整例子 · L03补充阅读

P04 · 同一个瓶颈，两种研究与产业选择

• 把人工判断组织成可调用的服务 · 本页说明
• 监督预算不是图像数量｜怎样检查这项解释 · L03补充阅读

P05 · 文字演示了一种答案来源

• 一段原文，可以产生许多预测题 · 本页说明
• 遮住中间一个词，可见的条件就变了 · 本页说明
• 回到从左到右预测：输出成为下一步条件 · 第五讲预备阅读
• 序列为什么需要状态｜问题从哪里出现 · 第五讲预备阅读
• 序列为什么需要状态｜核心改动怎样工作 · 第五讲预备阅读
• 序列为什么需要状态｜一起算一个完整例子 · 第五讲预备阅读
• 序列为什么需要状态｜怎样检查这项解释 · 第五讲预备阅读
• 序列为什么需要状态｜什么结论还不能推出 · 第五讲预备阅读
• 门控改变了什么｜问题从哪里出现 · 第五讲预备阅读
• 门控改变了什么｜核心改动怎样工作 · 第五讲预备阅读
• 门控改变了什么｜一起算一个完整例子 · 第五讲预备阅读
• 门控改变了什么｜怎样检查这项解释 · 第五讲预备阅读
• 门控改变了什么｜什么结论还不能推出 · 第五讲预备阅读
• 架构、目标与解码必须分开｜问题从哪里出现 · 第五讲预备阅读
• 架构、目标与解码必须分开｜核心改动怎样工作 · 第五讲预备阅读

P06 · 没有类别标签，不等于没有学习目标

• 回到图像，先决定让它学什么 · 本页说明
• 监督预算不是图像数量｜什么结论还不能推出 · L03补充阅读

P07 · 目标可以扩展，训练还要做得出来

• 参数、数据与训练量，要一起分配 · 第六讲相关预备阅读
• 两张卡处理不同数据，更新同一组参数 · 第六讲相关预备阅读
• 放不下时，把常驻训练状态分摊开 · 第六讲相关预备阅读
• 学习目标，也在决定计算花在哪里 · L03补充阅读
• 多个数据分片仍是一回更新｜问题从哪里出现 · 第六讲相关预备阅读
• 多个数据分片仍是一回更新｜核心改动怎样工作 · 第六讲相关预备阅读
• 多个数据分片仍是一回更新｜一起算一个完整例子 · 第六讲相关预备阅读
• 多个数据分片仍是一回更新｜怎样检查这项解释 · 第六讲相关预备阅读
• 多个数据分片仍是一回更新｜什么结论还不能推出 · 第六讲相关预备阅读
• 显存里不只是一份权重｜问题从哪里出现 · 第六讲相关预备阅读
• 显存里不只是一份权重｜核心改动怎样工作 · 第六讲相关预备阅读
• 显存里不只是一份权重｜一起算一个完整例子 · 第六讲相关预备阅读
• 显存里不只是一份权重｜怎样检查这项解释 · 第六讲相关预备阅读
• 显存里不只是一份权重｜什么结论还不能推出 · 第六讲相关预备阅读
• 分片省状态，也制造通信｜问题从哪里出现 · 第六讲相关预备阅读
• 分片省状态，也制造通信｜核心改动怎样工作 · 第六讲相关预备阅读
• 分片省状态，也制造通信｜一起算一个完整例子 · 第六讲相关预备阅读
• 分片省状态，也制造通信｜怎样检查这项解释 · 第六讲相关预备阅读
• 分片省状态，也制造通信｜什么结论还不能推出 · 第六讲相关预备阅读

P08 · 同一张图，可以给出两个相关视图

• 在候选中，找到同一原图的另一种观察 · 本页说明
• 对比任务由我们构造｜问题从哪里出现 · 本页说明

P09 · “正例”说的是关系，不是类别

本页的原文出处与解释见课堂说明。

P10 · 一次对比，就是一次有答案的选择

• 对比任务由我们构造｜核心改动怎样工作 · 本页说明
• 对比任务由我们构造｜一起算一个完整例子 · 本页说明

P11 · 为什么不能把所有图片都映射成同一个向量？

• 一致性目标的平凡解｜问题从哪里出现 · L03补充阅读
• 一致性目标的平凡解｜核心改动怎样工作 · L03补充阅读
• 一致性目标的平凡解｜一起算一个完整例子 · L03补充阅读
• 一致性目标的平凡解｜怎样检查这项解释 · L03补充阅读
• 一致性目标的平凡解｜什么结论还不能推出 · L03补充阅读

P12 · 训练时比较 z，使用时读取 h

• 投影后的 z 用于学习，投影前的 h 可以迁移 · 本页说明
• h 与 z 可以分工，但分工不是训练保证 · 本页说明

P13 · 该忽略颜色，还是该保留颜色？

• 同型号红蓝零件，哪些变化应该忽略？ · 本页说明
• 对比任务由我们构造｜什么结论还不能推出 · 本页说明

P14 · 比较更多候选，代价在哪里？

本页的原文出处与解释见课堂说明。

P15 · MoCo：字典里保存的是特征

• MoCo：让候选字典跨越当前批次 · 本页说明
• 查询编码器学得快，键编码器缓慢跟随 · 本页说明

P16 · 两个编码器，不同的更新方式

• MoCo：让候选字典跨越当前批次 · 本页说明
• 查询编码器学得快，键编码器缓慢跟随 · 本页说明

P17 · 把一次学习完整走通

• MoCo：让候选字典跨越当前批次 · 本页说明
• 查询编码器学得快，键编码器缓慢跟随 · 本页说明

P18 · 方法不是一条封闭的家谱

• MoCo：让候选字典跨越当前批次 · 本页说明
• 查询编码器学得快，键编码器缓慢跟随 · 本页说明

P19 · 另一条路线：根据可见内容预测缺失

• MAE：只编码可见块，再回到完整位置 · 本页说明
• 离散中心怎样成为表示｜问题从哪里出现 · L03补充阅读
• 离散中心怎样成为表示｜核心改动怎样工作 · L03补充阅读
• 离散中心怎样成为表示｜一起算一个完整例子 · L03补充阅读
• 离散中心怎样成为表示｜怎样检查这项解释 · L03补充阅读
• 离散中心怎样成为表示｜什么结论还不能推出 · L03补充阅读
• PCA 是带约束的线性编码—解码｜问题从哪里出现 · L03补充阅读
• PCA 是带约束的线性编码—解码｜核心改动怎样工作 · L03补充阅读
• PCA 是带约束的线性编码—解码｜一起算一个完整例子 · L03补充阅读
• 复制输入为何不是好表示｜问题从哪里出现 · L03补充阅读
• 复制输入为何不是好表示｜核心改动怎样工作 · L03补充阅读
• 复制输入为何不是好表示｜一起算一个完整例子 · L03补充阅读

P20 · 十六个图块，只有四个进入编码器

• MAE：只编码可见块，再回到完整位置 · 本页说明

P21 · 解码器补位置，目标来自原图

• MAE：只编码可见块，再回到完整位置 · 本页说明

P22 · 能补图，不等于每项任务都读得好

• MAE：只编码可见块，再回到完整位置 · 本页说明
• PCA 是带约束的线性编码—解码｜怎样检查这项解释 · L03补充阅读
• PCA 是带约束的线性编码—解码｜什么结论还不能推出 · L03补充阅读
• 复制输入为何不是好表示｜怎样检查这项解释 · L03补充阅读
• 复制输入为何不是好表示｜什么结论还不能推出 · L03补充阅读

P23 · 冻结读出和微调，在问不同的问题

• MAE：只编码可见块，再回到完整位置 · 本页说明
• 信息可以存在，却不一定线性可读 · L03补充阅读
• 冻结读出与微调，分别回答什么？ · 本页说明
• 预训练表示，确实可以在新任务里复用 · 本页说明
• 对比任务由我们构造｜怎样检查这项解释 · 本页说明

P24 · 学到表示之后，新任务提出了什么要求？

• 表示已经有了，位置与边界怎样得到？ · 本页说明

P25 · 同一张图，四种不同的答案

• 一张图，四种问题 · 本页说明
• 四种视觉任务交付不同对象｜问题从哪里出现 · 本页说明
• 四种视觉任务交付不同对象｜核心改动怎样工作 · 本页说明
• 四种视觉任务交付不同对象｜一起算一个完整例子 · 本页说明
• 四种视觉任务交付不同对象｜怎样检查这项解释 · 本页说明
• 四种视觉任务交付不同对象｜什么结论还不能推出 · 本页说明

P26 · 位置还在特征图里吗？

本页的原文出处与解释见课堂说明。

P27 · R-CNN：让已经会看图的网络看一个区域

• 把分类的计算，迁移到候选区域 · 本页说明

P28 · 候选区域不是已经识别出的物体

本页的原文出处与解释见课堂说明。

P29 · 许多重叠区域，为什么要重复卷积？

• 同一片杯沿，为什么要反复计算？ · 本页说明

P30 · 不同大小的区域，怎样读成固定结构？

本页的原文出处与解释见课堂说明。

P31 · Fast R-CNN：把区域放回共享计算中

本页的原文出处与解释见课堂说明。

P32 · Faster R-CNN：让候选区域也成为预测

• 候选区域，也从共享表示中学习 · 本页说明
• RPN 如何把参考框变成训练样本｜问题从哪里出现 · 本页说明
• RPN 如何把参考框变成训练样本｜核心改动怎样工作 · 本页说明
• RPN 如何把参考框变成训练样本｜一起算一个完整例子 · 本页说明
• RPN 如何把参考框变成训练样本｜怎样检查这项解释 · 本页说明
• RPN 如何把参考框变成训练样本｜什么结论还不能推出 · 本页说明
• 一阶段检测把预测铺满特征图｜问题从哪里出现 · L03补充阅读
• 一阶段检测把预测铺满特征图｜核心改动怎样工作 · L03补充阅读

P33 · 位置怎样成为可学习的目标？

• 框回归预测相对变换｜问题从哪里出现 · 本页说明
• 框回归预测相对变换｜核心改动怎样工作 · 本页说明
• 框回归预测相对变换｜一起算一个完整例子 · 本页说明
• 框回归预测相对变换｜怎样检查这项解释 · 本页说明
• 框回归预测相对变换｜什么结论还不能推出 · 本页说明
• 一阶段检测把预测铺满特征图｜一起算一个完整例子 · L03补充阅读

P34 · 三个框，并不代表三只杯子

• NMS 排序后抑制重复框｜问题从哪里出现 · 本页说明
• NMS 排序后抑制重复框｜核心改动怎样工作 · 本页说明
• NMS 排序后抑制重复框｜一起算一个完整例子 · 本页说明
• NMS 排序后抑制重复框｜怎样检查这项解释 · 本页说明
• NMS 排序后抑制重复框｜什么结论还不能推出 · 本页说明

P35 · 检测错在哪里，要分开看

• 检测错误要经过排序与匹配｜问题从哪里出现 · 本页说明
• 检测错误要经过排序与匹配｜核心改动怎样工作 · 本页说明
• 检测错误要经过排序与匹配｜一起算一个完整例子 · 本页说明
• 检测错误要经过排序与匹配｜怎样检查这项解释 · 本页说明
• 检测错误要经过排序与匹配｜什么结论还不能推出 · 本页说明
• 一阶段检测把预测铺满特征图｜怎样检查这项解释 · L03补充阅读
• 一阶段检测把预测铺满特征图｜什么结论还不能推出 · L03补充阅读
• 类别不平衡与集合输出是两种问题｜问题从哪里出现 · L03补充阅读
• 类别不平衡与集合输出是两种问题｜核心改动怎样工作 · L03补充阅读
• 类别不平衡与集合输出是两种问题｜一起算一个完整例子 · L03补充阅读
• 类别不平衡与集合输出是两种问题｜怎样检查这项解释 · L03补充阅读
• 类别不平衡与集合输出是两种问题｜什么结论还不能推出 · L03补充阅读

P36 · FCN：另一条路线，直接为像素作预测

• 每个位置，都要一个类别 · 本页说明
• FCN 是独立的密集预测路线｜问题从哪里出现 · 本页说明
• FCN 是独立的密集预测路线｜核心改动怎样工作 · 本页说明
• FCN 是独立的密集预测路线｜什么结论还不能推出 · 本页说明

P37 · 输出变细，不意味着信息自动变多

• FCN 是独立的密集预测路线｜一起算一个完整例子 · 本页说明
• 上采样不会自动恢复信息｜问题从哪里出现 · L03补充阅读
• 上采样不会自动恢复信息｜核心改动怎样工作 · L03补充阅读
• 上采样不会自动恢复信息｜一起算一个完整例子 · L03补充阅读
• 上采样不会自动恢复信息｜怎样检查这项解释 · L03补充阅读
• 上采样不会自动恢复信息｜什么结论还不能推出 · L03补充阅读

P38 · 让细位置与深层语义重新配合

• FCN 是独立的密集预测路线｜怎样检查这项解释 · 本页说明
• 多层表示在空间任务中分工｜问题从哪里出现 · L03补充阅读
• 多层表示在空间任务中分工｜核心改动怎样工作 · L03补充阅读
• 多层表示在空间任务中分工｜一起算一个完整例子 · L03补充阅读
• 多层表示在空间任务中分工｜怎样检查这项解释 · L03补充阅读
• 多层表示在空间任务中分工｜什么结论还不能推出 · L03补充阅读

P39 · 两个同类对象，需要两份身份

本页的原文出处与解释见课堂说明。

P40 · Mask R-CNN：区域内部，也保留二维结构

• 先找到这个杯子，再描出它的轮廓 · 本页说明

P41 · 三个像素的偏移，为什么会伤到轮廓？

• 边界在 35，为什么被读到 32？ · 本页说明
• RoIAlign 修复读取错位，不修复表示丢失｜问题从哪里出现 · 本页说明

P42 · 连续位置的数值，怎样从四个邻点得到？

• 保留连续位置，从邻居读取特征 · 本页说明
• 训练对照说明：对齐值得修复 · 本页说明
• RoIAlign 修复读取错位，不修复表示丢失｜核心改动怎样工作 · 本页说明
• RoIAlign 修复读取错位，不修复表示丢失｜一起算一个完整例子 · 本页说明

P43 · 同一只杯子，换一个区域就换一份局部目标

• RoIAlign 修复读取错位，不修复表示丢失｜怎样检查这项解释 · 本页说明

P44 · 两种布局，如果已经变成同一个数

• 左右不同，为什么都变成 0.5？ · 本页说明
• RoIAlign 修复读取错位，不修复表示丢失｜什么结论还不能推出 · 本页说明

P45 · 多一个通道，和多几个像素不是同一回事

• 三条改动，哪一条重新提供了差别？ · 本页说明
• 网格不变，多留一个局部通道 · 本页说明

P46 · SAM：把“分哪一块”交给提示

• 提示变了，这次要分割谁？ · 本页说明

P47 · 可复用表示，还要经过任务训练

本页的原文出处与解释见课堂说明。

P48 · 从物体位置，走向可以说出来的任务

• 从“处理这个对象”，走向用语言提出任务 · 本页说明

P49 · 同一幅画面，语言提出不同的问题

• 同一张图，描述、定位与问答各自要求什么？ · 本页说明

P50 · 2014—2016：几条准备已久的路线相遇

• 视觉、序列模型和数据，怎样汇合成新任务？ · 本页说明
• 描述任务把视觉接到可变长度输出｜怎样检查这项解释 · 本页说明

P51 · 图像描述：视觉内容怎样成为一句话？

• 架构、目标与解码必须分开｜一起算一个完整例子 · 第五讲预备阅读
• 架构、目标与解码必须分开｜怎样检查这项解释 · 第七讲相关预备阅读
• 让图像成为下一词预测的条件 · 本页说明
• 描述任务把视觉接到可变长度输出｜问题从哪里出现 · 本页说明
• 描述任务把视觉接到可变长度输出｜核心改动怎样工作 · 本页说明
• 描述任务把视觉接到可变长度输出｜一起算一个完整例子 · 本页说明
• 描述任务把视觉接到可变长度输出｜什么结论还不能推出 · 本页说明
• 训练前缀与生成前缀不同｜问题从哪里出现 · 第五讲预备阅读
• 训练前缀与生成前缀不同｜核心改动怎样工作 · 第五讲预备阅读
• 训练前缀与生成前缀不同｜一起算一个完整例子 · 第七讲相关预备阅读
• 训练前缀与生成前缀不同｜怎样检查这项解释 · 第七讲相关预备阅读
• 训练前缀与生成前缀不同｜什么结论还不能推出 · 第七讲相关预备阅读

P52 · 认识一个物体，为什么未必会把它说出来？

本页的原文出处与解释见课堂说明。

P53 · 一句话里的词，指向图中的哪一部分？

• 区域 token 让语言预训练接入物体｜问题从哪里出现 · L03补充阅读
• 区域 token 让语言预训练接入物体｜一起算一个完整例子 · L03补充阅读

P54 · VQA：问题决定此刻需要哪一项信息

• 问题指定视觉读取，也可能泄露答案先验｜问题从哪里出现 · 本页说明
• 问题指定视觉读取，也可能泄露答案先验｜核心改动怎样工作 · 本页说明
• 问题指定视觉读取，也可能泄露答案先验｜一起算一个完整例子 · 本页说明
• 问题指定视觉读取，也可能泄露答案先验｜怎样检查这项解释 · 本页说明
• 问题指定视觉读取，也可能泄露答案先验｜什么结论还不能推出 · 本页说明

P55 · 区域表示与语言预训练，有了可连接的部件

• 区域表示与语言预训练，在 ViLBERT 中接上了 · 本页说明
• 区域 token 让语言预训练接入物体｜核心改动怎样工作 · 第五讲预备阅读
• 区域 token 让语言预训练接入物体｜怎样检查这项解释 · L03补充阅读
• 区域 token 让语言预训练接入物体｜什么结论还不能推出 · L03补充阅读

P56 · CLIP 选择的任务：先学哪幅图与哪段话相配

• CLIP 从图文对走到候选接口｜问题从哪里出现 · 本页说明

P57 · 一张相似度矩阵，连接训练和使用

• 一个小矩阵里，同时做两个方向的匹配 · 本页说明
• CLIP 从图文对走到候选接口｜核心改动怎样工作 · 本页说明
• CLIP 从图文对走到候选接口｜一起算一个完整例子 · 本页说明

P58 · 用文字组织类别，而不是重做一张固定标签表

• 训练结束后，文字变成可换的候选接口 · 本页说明
• CLIP 从图文对走到候选接口｜怎样检查这项解释 · 本页说明
• CLIP 从图文对走到候选接口｜什么结论还不能推出 · 本页说明

P59 · 匹配还可以变成图文检索

• 交互发生得早或晚，决定缓存与表达｜问题从哪里出现 · 第八讲相关预备阅读
• 交互发生得早或晚，决定缓存与表达｜核心改动怎样工作 · 第八讲相关预备阅读
• 交互发生得早或晚，决定缓存与表达｜一起算一个完整例子 · 第八讲相关预备阅读
• 交互发生得早或晚，决定缓存与表达｜怎样检查这项解释 · 第八讲相关预备阅读
• 交互发生得早或晚，决定缓存与表达｜什么结论还不能推出 · 第八讲相关预备阅读

P60 · 图文数据不是一堆没有来历的图片

• 网络图文扩大了信号来源，也带来选择与噪声 · 本页说明

P61 · 前两张图都选对，究竟说明了什么？

• 两张图都选对了，它依据的是什么？ · 本页说明

P62 · 把位置与关系拆开，解释才会分叉

• 让右边的人拿球，两条规则就分开了 · 本页说明

P63 · GLIP：不只说相关，还要指出区域

• GLIP：让区域对上词语，让框落在正确位置 · 本页说明
• 先检查问题指向了哪个区域 · 本页说明
• 语言指定区域需要新的对应监督｜问题从哪里出现 · 本页说明
• 语言指定区域需要新的对应监督｜核心改动怎样工作 · 本页说明
• 语言指定区域需要新的对应监督｜一起算一个完整例子 · 本页说明
• 语言指定区域需要新的对应监督｜怎样检查这项解释 · 本页说明
• 语言指定区域需要新的对应监督｜什么结论还不能推出 · 本页说明

P64 · 把视觉表示接入一个已经会说话的模型

• 已有的语言模型，怎样接收一张图？ · 本页说明
• 视觉接入语言模型不是连一根线｜问题从哪里出现 · L03补充阅读
• 视觉接入语言模型不是连一根线｜一起算一个完整例子 · L03补充阅读
• 视觉接入语言模型不是连一根线｜怎样检查这项解释 · L03补充阅读

P65 · 连接层与任务使用方式，都需要训练

• 第一阶段：先让视觉接口接得上 · 本页说明
• 第二阶段：让回答适配视觉指令 · 本页说明
• 视觉指令材料从哪里来？ · L03补充阅读
• 视觉接入语言模型不是连一根线｜核心改动怎样工作 · L03补充阅读
• 视觉接入语言模型不是连一根线｜什么结论还不能推出 · L03补充阅读

P66 · 回看这段历史：留下来的不是一个网络名字

• 哪些能力可以继承，哪些环节还要重新学习？ · 本页说明

P67 · 同一句描述，为什么可以有很多张正确图像？

• 只给一句描述，怎样产生一幅新图像？ · 本页说明
• 同一句话，为什么有多种合理图像？ · 本页说明
• caption 已经生成文本，第四讲仍有新问题｜问题从哪里出现 · 第四讲预备阅读
• caption 已经生成文本，第四讲仍有新问题｜核心改动怎样工作 · 第四讲预备阅读
• caption 已经生成文本，第四讲仍有新问题｜一起算一个完整例子 · 第四讲预备阅读

P68 · 下一讲：怎样学习可能性，并产生一个样本？

• 架构、目标与解码必须分开｜什么结论还不能推出 · 第五讲预备阅读
• 什么训练信号能教会模型生成？ · 第四讲预备阅读
• caption 已经生成文本，第四讲仍有新问题｜怎样检查这项解释 · 第四讲预备阅读
• caption 已经生成文本，第四讲仍有新问题｜什么结论还不能推出 · 第四讲预备阅读
• 换成文本、视频与 3D，还要保持什么？ · 第四讲预备阅读