[CLS 01 · 学习信号、表示与迁移](/course/notebooks/fb4365d604974dd19df492cb22516e44.html)

# 使用同一句话：The red cup is on the table.
[独立阅读](/course/notebook-blocks/58de0ce82f8e4a428874633279e5fdc1.html)
主线阅读与优先实验

标签供给、文本目标接口、视图/队列/MAE图与表示迁移证据

使用同一句话：`The red cup is on the table.`。这里用 `The / red / cup / is / on / the / table / .` 作为教学 token；实际 tokenizer 未必这样切。位置决定“当前预测的是哪一项”，可见条件决定模型能利用哪些信息。

| 任务 | 本次看见什么 | 目标从哪里取得 | 反馈怎样产生 |
| --- | --- | --- | --- |
| 从左到右预测 | `The / red / cup` | 原文下一个 token `is` | 提高正确 token 的预测概率 |
| 遮词预测 | `The / red / [MASK] / is / on / the / table / .` | 原文被遮住的 `cup` | 比较遮住位置的预测与目标 |

遮词可利用左右两侧，左到右预测不能提前看后文。两者都从已有文本构造目标；人仍参与文本写作、数据选择和任务设计。

**回到从左到右预测：一个输出 token，成为下一步条件。** 使用时，先由 `The / red / cup` 预测一个 token；选出 `is` 后，将它接到前文，再预测 `on`。训练时原文已经给出目标，使用时接入的是模型选出的 token，这两种过程要区分。

这里不需要展开 Q/K/V：先抓住 token、位置、可见条件、目标和逐步输出。[自回归语言建模：GPT-2 技术报告](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf) · [BERT](https://aclanthology.org/N19-1423/)