# 同一句原文怎样生成两种预测题
[独立阅读](/course/blocks/text-target-construction.html)**课堂上下文：从哪个问题来**
借同一句话构造next-token与masked-token题，核心是答案来源和可见条件，不是语言架构课。


用教学单位切分 `The / red / cup / is / on / the / table / .`。从左到右预测的一题是：输入 `The red cup`，正确目标是 `is`。遮词预测的一题是：输入 `The red [MASK] is on the table .`，目标是被取走的 `cup`。答案都从原文取得，但模型可见条件不同：前者不能偷看未来，后者可以使用遮词两侧。



训练时原文目标已知。若模型给正确词概率0.25，这一位置的负对数损失是 $-\ln0.25\approx1.386$；提高到0.5后是0.693。这个反馈足以更新参数，不需要先把整句话人工标成“描述桌面”。



本页只借文字说明目标来源。实际 tokenizer 可能把单词分成多个单位，预测器也有不同架构；这些细节不影响这里的闭环：**隐藏一部分信息→用可见条件预测→拿原文作答案**。架构、完整注意力和循环状态留后续课程。

**出处：**[BERT 原论文](https://aclanthology.org/N19-1423/) · [GPT-2 技术报告](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)
## 继续阅读与实验