[CLS 03 · 视觉与语言：任务、训练与接口](/course/notebooks/680da245145447dd88983aabd136fd24.html)

# 图像描述学习 $p(yt\mid I,y{<t})$：视觉特征与已有文字一起决定下一词
[独立阅读](/course/notebook-blocks/9af985696da54136a73aa78d650b93c5.html)
主线阅读与优先实验

caption历史、VQA、CLIP候选、关系控制、GLIP/LLaVA与生成桥梁

图像描述学习 $p(y_t\mid I,y_{<t})$：视觉特征与已有文字一起决定下一词。训练时配对描述给出目标；推理时从开始符号出发，只能接续自己的输出，直到结束符号。今天先把这条接口看清，循环网络内部留第五讲。

[返回图像条件的课堂图](/course/pages/l3-r2-p51.html)。完整的 shifted target、EOS/PAD 和保留集生成对照归并到 [CLS 09 · 图像条件输出：描述与问答](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/c9f328a00ef44ecc90804e47276a7811?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=c9f328a00ef44ecc90804e47276a7811&utm_term=get_notebook) 与 [LAB 13 · 看图生成一句话：训练、解码与消融](https://deepnote.com/workspace/ise3309jingao-5ba66b0a-4283-4f5a-ae06-3f68d3201e99/project/38755e4e-23f6-4f5f-8c68-8a2e4114b1c1/notebook/3da47f3ee3554ee0a36e0bb6a2fdc61f?utm_source=openai&utm_medium=mcp&utm_campaign=openaimcp&utm_content=3da47f3ee3554ee0a36e0bb6a2fdc61f&utm_term=get_notebook)；本册不复制两份训练说明。

一张图可有多种真实描述。“桌上有杯子”与“左侧红杯靠近书”聚焦信息不同。先说明任务要求概括还是详细描述，再判断遗漏是否构成错误。[图像条件怎样进入一个可变长度答案](/course/blocks/caption-conditioned-token.html) · [已保存的条件生成实验：视觉输入确实改变了句子](/course/blocks/caption-visual-controls.html)。