第六讲预备阅读：怎样把一次更新分给多设备
后续课程预备或按需选读，不列为本讲必讲内容。
课堂上下文：从哪个问题来
资源约束在本讲是方法选择的一个条件；真正需要回访它的是批内候选、MoCo缓存与MAE可见块。
本段是后续课程预备阅读，不属于Lecture03当堂必讲。它承接“训练目标要能实施”，帮助有需要的学生定位旧材料，而不是要求理解MoCo前先学分布式训练。
最小例子：两个设备从同一参数(1,2)开始，等大小本地批次给平均梯度(2,4)和(6,0)。合并梯度为(4,2)，学习率0.1，所有副本都更新为(0.6,1.8)。若本地样本数2:6，就应按样本数加权，得到梯度(5,1)、参数(0.5,1.9)。关键是所有设备执行同一全局目标的一次更新，而不是各自学成不同模型。
进一步的状态分片讨论谁保管权重、梯度和优化器状态，通信讨论计算前怎样取齐需要的数据。这些旧算例仍有价值，放在后续阅读入口，避免和本讲“训练答案从哪里来”的主问题混在同一默认顺序中。