Lecture 03扩大数据与模型以后,能否把训练完成也影响方法设计
扩大数据与模型以后,能否把训练完成也影响方法设计
主线阅读与优先实验
标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据
扩大数据与模型以后,能否把训练完成也影响方法设计。第三讲先把资源问题连到两项具体取舍:MoCo 复用近期 key,MAE 让昂贵编码器只看可见块。
训练目标也在分配计算解释这层接口。梯度归并、分片与通信的算例已集中到第六讲:训练目标与资源账本。接下来继续问:同一幅图的两种观察,怎样构成一个可学习的训练题?