同一句原文怎样生成两种预测题

用教学单位切分 The / red / cup / is / on / the / table / .。从左到右预测的一题是：输入 The red cup，正确目标是 is。遮词预测的一题是：输入 The red [MASK] is on the table .，目标是被取走的 cup。答案都从原文取得，但模型可见条件不同：前者不能偷看未来，后者可以使用遮词两侧。

训练时原文目标已知。若模型给正确词概率0.25，这一位置的负对数损失是 $-\ln0.25\approx1.386$；提高到0.5后是0.693。这个反馈足以更新参数，不需要先把整句话人工标成“描述桌面”。

本页只借文字说明目标来源。实际 tokenizer 可能把单词分成多个单位，预测器也有不同架构；这些细节不影响这里的闭环：隐藏一部分信息→用可见条件预测→拿原文作答案。架构、完整注意力和循环状态留后续课程。