已保存的条件生成实验：视觉输入确实改变了句子
课堂上下文：从哪个问题来
先沿画面指出视觉特征进入哪里，再指出已有文字与下一词目标。连续说明展开 shifted target、EOS、PAD 和实际生成，LAB13 提供已保存的实验结果。理解本页可先把文字预测器作为输入输出模块；整数移位只演示目标构造，完整图像描述还需要图像条件与实际生成。
LAB13 当前保存的是 2026-09-22 本地 CPU 基准，当前整理没有重新训练。输入为真实渲染的 RGB 图像；训练 720 张，保留 180 张。颜色、形状、位置共有 18 种组合，两侧都包含这些组合，但保留图由独立随机渲染产生、像素哈希不重复。这检验新渲染泛化，不是未见组合泛化。
CNN 输出 48 维视觉向量；文字单位有 24 维嵌入；实验采用一个小型 GRU 文字模块。今天把它作为已明确输入输出的实现，内部循环状态留第五讲。视觉向量确实参与每一步预测，并用于初始化文字模块；真实颜色或位置标签只用于构造监督，不作为推理输入。
| 同一组 180 张保留图 | 整句精确匹配 |
|---|---|
| 正确图像，greedy 生成 | 100% |
| 正确图像，beam 宽度 3 | 100% |
| 同一模型，像素置零 | 5.56% |
| 同一模型，图像循环错配 | 0% |
固定前缀 BOS a，红方块左侧图生成 a red square on left，蓝圆右侧图生成 a blue circle on right。这里正面成立的判断是：这个有限任务中，训练后的输出使用了正确视觉条件。两种搜索同分，不支持 beam 比 greedy 更好；零图像是分布外条件，错配对照则进一步隔离了图像对应关系。自然图像有多种合理描述，不能把这里唯一规范句子的精确匹配直接移作通用 caption 评价。
图片与数字均来自已保存基准，不是把数据生成器的目标文字重新印成“模型回答”。