Lecture 03使用同一句话：The red cup is on the table.
使用同一句话：The red cup is on the table.
主线阅读与优先实验
标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据
使用同一句话：The red cup is on the table.。这里用 The / red / cup / is / on / the / table / . 作为教学 token；实际 tokenizer 未必这样切。位置决定“当前预测的是哪一项”，可见条件决定模型能利用哪些信息。
| 任务 | 本次看见什么 | 目标从哪里取得 | 反馈怎样产生 |
|---|---|---|---|
| 从左到右预测 | The / red / cup |
原文下一个 token is |
提高正确 token 的预测概率 |
| 遮词预测 | The / red / [MASK] / is / on / the / table / . |
原文被遮住的 cup |
比较遮住位置的预测与目标 |
遮词可利用左右两侧，左到右预测不能提前看后文。两者都从已有文本构造目标；人仍参与文本写作、数据选择和任务设计。
回到从左到右预测：一个输出 token，成为下一步条件。 使用时，先由 The / red / cup 预测一个 token；选出 is 后，将它接到前文，再预测 on。训练时原文已经给出目标，使用时接入的是模型选出的 token，这两种过程要区分。
这里不需要展开 Q/K/V：先抓住 token、位置、可见条件、目标和逐步输出。自回归语言建模：GPT-2 技术报告 · BERT