# 图像条件怎样进入一个可变长度答案
[独立阅读](/course/blocks/caption-conditioned-token.html)**课堂上下文：从哪个问题来**
先沿画面指出视觉特征进入哪里，再指出已有文字与下一词目标。连续说明展开 shifted target、EOS、PAD 和实际生成，LAB13 提供已保存的实验结果。理解本页可先把文字预测器作为输入输出模块；整数移位只演示目标构造，完整图像描述还需要图像条件与实际生成。


图像描述要建模的是 $p_\theta(y_1,\ldots,y_T\mid I)$。链式法则将它分解为 $\prod_t p_\theta(y_t\mid y_{<t},I)$：每一步都在图像和此前文字的条件下预测后续文字。这个分解是概率关系，不要求本讲先学完一种具体文字网络。



指着 P51 的图看三个位置：图像编码器把像素变成视觉特征；文字预测器同时接收视觉条件与已有文字；目标位置从“红衣人”后的“拿着”，推进到“红衣人拿着”后的“球”。如果删除视觉路径，模型仍可能补出语法合理的句子，却失去了判断画面到底是谁拿球的信息来源。



训练图文配对提供目标句子，而不是图片自行生成唯一文字标签。一幅图可以被说成“两个人站在一起”，也可以被说成“红衣人拿着球”。前者省略衣色，后者聚焦动作主体，两句都可能真实。训练学习的是这种条件下的表达分布；教师还需要说明任务要求概括、细节描述还是完整枚举。



推理时没有参考句子可偷看。模型从开始符号出发，输出一个词，再把这个词接到自己的上下文，直到结束符号或长度上限。完整的实验必须有实际图像、可学习参数、词目标、优化和这条自由生成过程。网页上推进的参考词是教学目标示意；实际生成与视觉对照放在 LAB13。



图内标签与数值：视觉编码器；图像 → 特征；两条合理描述；“两个人站在一起。”；“红衣人拿着篮球。”；文字预测器；允许看到的前文 + 视觉；红衣人 拿着；球；下一个目标；图文配对给出文字目标；页面展示训练接口与参考描述，没有展示模型生成结果。

图像条件、已有前缀与下一词目标各有独立位置；图上词语不是本轮模型实测。 查看对应图解状态

- 视觉编码器
- 图像 → 特征
- 两条合理描述
- “两个人站在一起。”
- “红衣人拿着篮球。”
- 文字预测器
- 允许看到的前文 + 视觉
- 红衣人 拿着
- 球
- 下一个目标
- 图文配对给出文字目标；页面展示训练接口与参考描述，没有展示模型生成结果。图像条件、已有前缀与下一词目标各有独立位置；图上词语不是本轮模型实测。 [查看对应图解状态](/#/l3-r2-p51/1)[查看完整图解](/#/l3-r2-p51/1)
**出处：**[Show and Tell（2014/2015）](https://arxiv.org/abs/1411.4555)
## 继续阅读与实验