## 训练目标还要落到一次可执行的更新 ## 解释、算例与证据 # P07 · 目标可以扩展，训练还要做得出来 资源约束在本讲是方法选择的一个条件；真正需要回访它的是批内候选、MoCo缓存与MAE可见块。 图内标签与数值：P07 学习表示机制图，状态 1；学习目标；训练什么；数据供给；拿到什么；计算条件；算得起什么；一起决定可行的实验；当前批次：更多图片；历史字典：复用特征；可见图块：减少编码 目标、数据、计算三个相连节点，以及当前批次、历史特征、可见图块三个具体计算取舍。 - 学习目标 - 训练什么 - 数据供给 - 拿到什么 - 计算条件 - 算得起什么 - 一起决定可行的实验 - 当前批次：更多图片 - 历史字典：复用特征 - 可见图块：减少编码目标、数据、计算三个相连节点，以及当前批次、历史特征、可见图块三个具体计算取舍。 [查看对应图解状态](/#/l3-r2-p07/0)[查看完整图解](/course/figures/l3-r2-p07-0.html) ## 课堂讲述 找到可扩展的目标以后，训练也不会变成免费的。更多数据、更大的网络、更长的训练，仍然需要存储、计算和时间；设备之间合作，也有额外代价。 但这不是一页“模型很烧钱”的背景介绍。资源条件会影响方法怎么设计：候选特征能不能从历史批次复用？被遮住的图块是不是也要送进昂贵的编码器？这些选择会改变一次实验能够使用多少材料。 我们先记住这几个具体问题，后面看 MoCo 和 MAE 时就能回到它们。至于扩展定律、多设备分片和通信细节，属于后续系统展开的内容。今天只需要理解：好的学习目标，还需要一种可实现的计算组织。 ### 训练目标也在分配计算 [独立阅读](/course/blocks/objective-and-compute-interface.html) 扩大目标供给后，还要把训练真正做出来。当前批内对比会同时保留多张图两种视图的前向和反向状态；保存历史key的MoCo用特征缓存减少重复编码，但必须处理旧特征的一致性；MAE让较重编码器只处理可见图块，把补全位置的工作放到较轻解码器。 所以计算条件会参与方法设计，而不只是最后购买多少设备。我们可以先画资源账：本步编码多少新图，保留多少激活，缓存多少旧向量，下步需要重复什么。这个账足以理解接下来的batch、队列与可见块取舍。 本讲不在此展开并行算法、显存公式或分片通信。它们保留为第六讲预备阅读；这里带走的是同一个原则：**需要更多比较对象，不一定等于同时反传更多图片；需要预测更多位置，也不一定等于让昂贵编码器看见所有位置。** ## 沿这个问题继续 先读本页计算接口，直接进入P8；多设备与分片算例是L06预备选读。 #### 按问题回查的讲解与短练习（1） **出处：**[S3 · 教材与出处](/course/round2-sources.html#S3) · [S5 · 原文](https://arxiv.org/abs/1911.05722) · [S9 · 教材与出处](/course/round2-sources.html#S9) #### 这条线索的展开与后续阅读 - [参数、数据与训练量，要一起分配](/supplement.html?return=l3-r2-p07/0#/l3-compute-budget/0) 第六讲相关预备阅读 - [两张卡处理不同数据，更新同一组参数](/supplement.html?return=l3-r2-p07/0#/l3-data-parallel/0) 第六讲相关预备阅读 - [放不下时，把常驻训练状态分摊开](/supplement.html?return=l3-r2-p07/0#/l3-sharding/0) 第六讲相关预备阅读 - [学习目标，也在决定计算花在哪里](/supplement.html?return=l3-r2-p07/0#/l3-compute-compare/0) L03补充阅读 - [多个数据分片仍是一回更新｜问题从哪里出现](/supplement.html?return=l3-r2-p07/0#/l3-distributed-update-problem/0) 第六讲相关预备阅读 - [多个数据分片仍是一回更新｜核心改动怎样工作](/supplement.html?return=l3-r2-p07/0#/l3-distributed-update-mechanism/0) 第六讲相关预备阅读 - [多个数据分片仍是一回更新｜一起算一个完整例子](/supplement.html?return=l3-r2-p07/0#/l3-distributed-update-example/0) 第六讲相关预备阅读 - [多个数据分片仍是一回更新｜怎样检查这项解释](/supplement.html?return=l3-r2-p07/0#/l3-distributed-update-evidence/0) 第六讲相关预备阅读 - [多个数据分片仍是一回更新｜什么结论还不能推出](/supplement.html?return=l3-r2-p07/0#/l3-distributed-update-boundary/0) 第六讲相关预备阅读 - [显存里不只是一份权重｜问题从哪里出现](/supplement.html?return=l3-r2-p07/0#/l3-training-memory-problem/0) 第六讲相关预备阅读 - [显存里不只是一份权重｜核心改动怎样工作](/supplement.html?return=l3-r2-p07/0#/l3-training-memory-mechanism/0) 第六讲相关预备阅读 - [显存里不只是一份权重｜一起算一个完整例子](/supplement.html?return=l3-r2-p07/0#/l3-training-memory-example/0) 第六讲相关预备阅读 - [显存里不只是一份权重｜怎样检查这项解释](/supplement.html?return=l3-r2-p07/0#/l3-training-memory-evidence/0) 第六讲相关预备阅读 - [显存里不只是一份权重｜什么结论还不能推出](/supplement.html?return=l3-r2-p07/0#/l3-training-memory-boundary/0) 第六讲相关预备阅读 - [分片省状态，也制造通信｜问题从哪里出现](/supplement.html?return=l3-r2-p07/0#/l3-sharding-communication-problem/0) 第六讲相关预备阅读 - [分片省状态，也制造通信｜核心改动怎样工作](/supplement.html?return=l3-r2-p07/0#/l3-sharding-communication-mechanism/0) 第六讲相关预备阅读 - [分片省状态，也制造通信｜一起算一个完整例子](/supplement.html?return=l3-r2-p07/0#/l3-sharding-communication-example/0) 第六讲相关预备阅读 - [分片省状态，也制造通信｜怎样检查这项解释](/supplement.html?return=l3-r2-p07/0#/l3-sharding-communication-evidence/0) 第六讲相关预备阅读 - [分片省状态，也制造通信｜什么结论还不能推出](/supplement.html?return=l3-r2-p07/0#/l3-sharding-communication-boundary/0) 第六讲相关预备阅读