CLS 09 · 图像条件输出：描述与问答

学习路径： 图像怎样约束句子与回答

从P51 看图描述与P54 视觉问答进入：同一视觉编码器怎样服务“生成一句话”和“针对问题回答”两种输出？

先读图像、文字前缀和下一词目标，再看VQA的同图换问/同问换图。按兴趣选择LAB 13或LAB 14；已有结果能先读，运行时各册独立从头执行。

读完应能解释：为什么训练损失不能代替自由生成评价，为什么问题先验不能代替视觉证据。GRU/RNN 内部与 beam 搜索已移入第五讲，不是理解视觉条件的前置要求。

图像、前缀、目标，三个位置分开看

令图像为 $I$、句子为 $y_1,\ldots,y_T$，模型学习 $$p(y_1,\ldots,y_T\mid I)=\prod_t p(y_t\mid I,y_{<t}).$$ 视觉编码器把像素变成特征；文字预测器接收视觉特征和允许看到的文字；目标是下一词。课堂从“红衣人”后预测“拿着”，再从“红衣人拿着”后预测“球”。图上的目标词是人工参考，不是实测生成。

一图可以有“两人在球场”与“红衣人拿球”等不同真实描述。模型学习条件下的表达分布，任务再决定必须包含哪些内容。完整信息流与多参考解释。

训练与推理的分界发生在前缀

参考 [BOS,a,red,square,EOS] 的输入是 [BOS,a,red,square]，目标是 [a,red,square,EOS]。PAD 仅为批量补齐，不计损失；EOS 是有效停止目标。损失按有效词求平均，不能把补齐格数也算入分母。

训练时看到真实前缀叫 teacher forcing；推理必须接续自己的输出。先误说 blue 后，就要在 blue 条件下继续，不能改回参考 red。保留集 teacher-forced 交叉熵因此不能代替自由生成评价。逐位置表与损失公式。

已有实验确实完成了图像条件生成

LAB 13 保存2026-09-22本地 CPU 基准：720张训练图、180张独立渲染保留图，18种语义组合两侧都出现。CNN产生48维视觉向量，文字模块采用小型GRU；本讲把它作为明确输入输出模块，内部留L05。推理不读取真实颜色/位置标签。

固定 BOS a，红方块左侧图生成 a red square on left，蓝圆右侧图生成 a blue circle on right。这支持当前有限任务使用正确视觉条件；不是自然照片或未见组合泛化，也没有显示 beam 优于 greedy。本轮整理未重跑训练。数据、协议与证据细节。

VQA：问题控制读什么，图像控制答什么

VQA建模 $p(a\mid I,q)$。同图问数量、颜色、关系，需要不同信息；同一问题换相关图像，答案也应改变。输出可为有限答案分类，也可逐词生成，二者的答案范围和评价协议不同。

图A左红右蓝：问左色答红、问右色答蓝。换成图B左蓝右红，保持左色问题则应答蓝。若“视觉”分支只读取场景字典的 left_color，它是已知属性 oracle，不是从像素感知。任务条件与VQA研究背景。

LAB 14 已有真正读取像素和问题ID的CNN问答，以及单独训练的question-only。2026-09-22本地保留180张图、每图三问共540图问对，先按图划分再扩展问题，避免同图跨切分。

循环错配不是独立重抽，排列常保留数量却改变形状；总分相同掩盖不同错误。正确图像下的成功和干预后的下降，支持这个有限任务使用了视觉信息。问题是三个固定模板ID，不主张开放语言泛化。逐问题指标的完整解释。

备课模拟对话。 学生：“无图也有44%，图像是不是不重要？”教师：“二选一、三选一、二选一的常量率平均就是4/9；同任务视觉模型100%且错配后下降，才说明新增条件有作用。”

本轮没有重跑这些实验。Caption产生新句子，匹配返回候选分数，VQA还要根据问题选择信息。理解区别后，按需要进入CLS 10 的匹配或 CLS 11 的区域指代，不必把所有册重新读一遍。

看清图像条件，再打开解码器

本讲先检查图像是否真正影响逐词预测与生成结果：LAB 13保留训练、实际接续输出、遮图与错图消融。较高模型概率和更符合图片是两个评价问题，不能由搜索方式直接互相保证。

循环状态方程、整句概率分解、规范化概率树及 greedy/beam 比较，已整理到第五讲：序列模型与图像条件解码。需要解释 LAB 13 的内部实现时再沿此入口展开。