Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示训练留下什么,训练答案又从哪里来?

训练目标还要落到一次可执行的更新

解释、算例与证据

P07 · 目标可以扩展,训练还要做得出来

资源约束在本讲是方法选择的一个条件;真正需要回访它的是批内候选、MoCo缓存与MAE可见块。

P07 学习表示机制图,状态 1P07 学习表示机制图,状态 1学习目标训练什么数据供给拿到什么计算条件算得起什么一起决定可行的实验当前批次:更多图片历史字典:复用特征可见图块:减少编码

目标、数据、计算三个相连节点,以及当前批次、历史特征、可见图块三个具体计算取舍。

  • 学习目标
  • 训练什么
  • 数据供给
  • 拿到什么
  • 计算条件
  • 算得起什么
  • 一起决定可行的实验
  • 当前批次:更多图片
  • 历史字典:复用特征
  • 可见图块:减少编码
目标、数据、计算三个相连节点,以及当前批次、历史特征、可见图块三个具体计算取舍。 查看对应图解状态
查看完整图解

课堂讲述

找到可扩展的目标以后,训练也不会变成免费的。更多数据、更大的网络、更长的训练,仍然需要存储、计算和时间;设备之间合作,也有额外代价。 但这不是一页“模型很烧钱”的背景介绍。资源条件会影响方法怎么设计:候选特征能不能从历史批次复用?被遮住的图块是不是也要送进昂贵的编码器?这些选择会改变一次实验能够使用多少材料。 我们先记住这几个具体问题,后面看 MoCo 和 MAE 时就能回到它们。至于扩展定律、多设备分片和通信细节,属于后续系统展开的内容。今天只需要理解:好的学习目标,还需要一种可实现的计算组织。

训练目标也在分配计算

独立阅读

扩大目标供给后,还要把训练真正做出来。当前批内对比会同时保留多张图两种视图的前向和反向状态;保存历史key的MoCo用特征缓存减少重复编码,但必须处理旧特征的一致性;MAE让较重编码器只处理可见图块,把补全位置的工作放到较轻解码器。

所以计算条件会参与方法设计,而不只是最后购买多少设备。我们可以先画资源账:本步编码多少新图,保留多少激活,缓存多少旧向量,下步需要重复什么。这个账足以理解接下来的batch、队列与可见块取舍。

本讲不在此展开并行算法、显存公式或分片通信。它们保留为第六讲预备阅读;这里带走的是同一个原则:需要更多比较对象,不一定等于同时反传更多图片;需要预测更多位置,也不一定等于让昂贵编码器看见所有位置。

沿这个问题继续

先读本页计算接口,直接进入P8;多设备与分片算例是L06预备选读。

按问题回查的讲解与短练习(1)

这条线索的展开与后续阅读