训练目标也在分配计算
扩大目标供给后,还要把训练真正做出来。当前批内对比会同时保留多张图两种视图的前向和反向状态;保存历史key的MoCo用特征缓存减少重复编码,但必须处理旧特征的一致性;MAE让较重编码器只处理可见图块,把补全位置的工作放到较轻解码器。
所以计算条件会参与方法设计,而不只是最后购买多少设备。我们可以先画资源账:本步编码多少新图,保留多少激活,缓存多少旧向量,下步需要重复什么。这个账足以理解接下来的batch、队列与可见块取舍。
本讲不在此展开并行算法、显存公式或分片通信。它们保留为第六讲预备阅读;这里带走的是同一个原则:需要更多比较对象,不一定等于同时反传更多图片;需要预测更多位置,也不一定等于让昂贵编码器看见所有位置。