[CLS 09 · 图像条件输出：描述与问答](/course/notebooks/c9f328a00ef44ecc90804e47276a7811.html)

# 图像、前缀、目标，三个位置分开看
[独立阅读](/course/notebook-blocks/dd1046d546e24b26aecee5957553a6e2.html)
按问题继续

图像条件、teacher forcing、真实生成、greedy/beam与VQA控制

**学习路径：** [图像怎样约束句子与回答](/course/study/caption-vqa.html)

从[P51 看图描述](/course/pages/l3-r2-p51.html)与[P54 视觉问答](/course/pages/l3-r2-p54.html)进入：同一视觉编码器怎样服务“生成一句话”和“针对问题回答”两种输出？

先读图像、文字前缀和下一词目标，再看VQA的同图换问/同问换图。按兴趣选择[LAB 13](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/3da47f3ee3554ee0a36e0bb6a2fdc61f)或[LAB 14](https://deepnote.com/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/11d9f74871544a77b42024a9fe06b81a)；已有结果能先读，运行时各册独立从头执行。

读完应能解释：为什么训练损失不能代替自由生成评价，为什么问题先验不能代替视觉证据。GRU/RNN 内部与 beam 搜索已移入[第五讲](https://deepnote.com/project/841ec8e7-e352-4840-b628-d3742b03d6d0/notebook/b1c8e2fd764441e8820b808fc40ec3cb?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=b1c8e2fd764441e8820b808fc40ec3cb&utm_term=get_notebook)，不是理解视觉条件的前置要求。

## 图像、前缀、目标，三个位置分开看

令图像为 $I$、句子为 $y_1,\ldots,y_T$，模型学习
$p(y_1,\ldots,y_T\mid I)=\prod_t p(y_t\mid I,y_{<t}).$
视觉编码器把像素变成特征；文字预测器接收视觉特征和允许看到的文字；目标是下一词。课堂从“红衣人”后预测“拿着”，再从“红衣人拿着”后预测“球”。图上的目标词是人工参考，不是实测生成。

一图可以有“两人在球场”与“红衣人拿球”等不同真实描述。模型学习条件下的表达分布，任务再决定必须包含哪些内容。[完整信息流与多参考解释](/course/blocks/caption-conditioned-token.html)。

## 训练与推理的分界发生在前缀

参考 `[BOS,a,red,square,EOS]` 的输入是 `[BOS,a,red,square]`，目标是 `[a,red,square,EOS]`。PAD 仅为批量补齐，不计损失；EOS 是有效停止目标。损失按有效词求平均，不能把补齐格数也算入分母。

训练时看到真实前缀叫 teacher forcing；推理必须接续自己的输出。先误说 blue 后，就要在 blue 条件下继续，不能改回参考 red。保留集 teacher-forced 交叉熵因此不能代替自由生成评价。[逐位置表与损失公式](/course/blocks/caption-shift-and-stop.html)。

## 已有实验确实完成了图像条件生成

[LAB 13](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/3da47f3ee3554ee0a36e0bb6a2fdc61f?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=3da47f3ee3554ee0a36e0bb6a2fdc61f&utm_term=get_notebook) 保存2026-09-22本地 CPU 基准：720张训练图、180张独立渲染保留图，18种语义组合两侧都出现。CNN产生48维视觉向量，文字模块采用小型GRU；本讲把它作为明确输入输出模块，内部留L05。推理不读取真实颜色/位置标签。

| 保留条件 | 整句精确匹配 |
| --- | --- |
| 正确图像，greedy / beam=3 | 100% / 100% |
| 同一模型，像素置零 | 5.56% |
| 同一模型，循环错配图像 | 0% |

![同一前缀、不同图像的真实生成](/assets/display/9ebe76d49a449b9940b6470f.webp)

固定 `BOS a`，红方块左侧图生成 `a red square on left`，蓝圆右侧图生成 `a blue circle on right`。这支持当前有限任务使用正确视觉条件；不是自然照片或未见组合泛化，也没有显示 beam 优于 greedy。本轮整理未重跑训练。[数据、协议与证据细节](/course/blocks/caption-visual-controls.html)。