[LAB 13 · 看图生成一句话：训练、解码与消融](/course/notebooks/3da47f3ee3554ee0a36e0bb6a2fdc61f.html)

# 3. 视觉特征怎样真正进入语言模型
[独立阅读](/course/notebook-blocks/e7b880e8e242436992df27f02a3a2506.html)
按问题继续

真实CNN–GRU条件训练与greedy/beam生成、遮图/错图消融

## 3. 视觉特征怎样真正进入语言模型

输入是 `[B,3,32,32]`。两次卷积和池化产生空间特征，展平后映射为 48 维视觉向量；这里不用全局平均池化，因为“左/右”依赖空间布局。每个词嵌入为 24 维，与同一视觉向量拼接后送入共享的 GRU；视觉向量还初始化 64 维隐藏状态。输出 logits 为 `[B,T,12]`。

$L=-\frac{\sum_{i,t}\mathbf 1[y_{it}\ne PAD]\log p_\theta(y_{it}\mid I_i,y_{i,<t})}{\sum_{i,t}\mathbf 1[y_{it}\ne PAD]}.$

代码中的 `targets=Y[:,1:]` 对齐 `prefix=Y[:,:-1]`，`ignore_index=PAD` 排除补齐位置。优化器同时更新 CNN、词嵌入、GRU 和输出头，没有把真实颜色或位置喂给 CNN。每个 epoch 的保留集交叉熵仍是 teacher-forced 量，因此不能替代下一节的自由生成评价。

**一次真实失败也有教学意义：** 首轮使用未中心化像素和 tanh 视觉投影时，模型几乎忽略图像，整句准确率为 5.56%，视觉置零结果相同；历史代码、权重和 JSON 均保留。最终结构改为输入中心化、LayerNorm/ReLU 投影并降低学习率，之后锁定新的保留集。结果支持“视觉依赖需要检验”，不支持只凭训练损失下降就宣布模型看图。