Lecture 03图像怎样约束句子与回答
图像怎样约束句子与回答
生成了一句话或一个答案，怎样检查图像实际起了作用？
Lecture 03图像怎样约束句子与回答
阅读与动手顺序
选一种输出任务
LAB13 生成描述；LAB14 根据图像与问题预测答案。两种目标不同，可按自己的问题选一本。
先读条件与结果
对应图像输入、文字条件、学习目标和实际输出。L03 不需要先学完循环网络内部；相关代码可在 L05 回看。
改变一项视觉条件
描述看像素置零与图像错配，问答看 question-only、同图换问和同问换图，用对照区分视觉作用与语言先验。
Lecture 03图像怎样约束句子与回答
带走的结果
给出一对输入与输出，指出视觉条件改变后答案应怎样变化，并解释实测是否支持。
Lecture 03图像怎样约束句子与回答
优先实践
可先阅读已有结果，再按问题选择是否重算。并列实验提供不同起点，不要求全部运行。
- LAB 13 · 看图生成一句话：训练、解码与消融在 Deepnote 打开 ↗
真实CNN–GRU条件训练与greedy/beam生成、遮图/错图消融
- LAB 14 · 图像问答：视觉条件与问题先验在 Deepnote 打开 ↗
RGB+问题输入、question-only对照、同图换问与同问换图
Lecture 03图像怎样约束句子与回答
配套讲解
- CLS 09 · 图像条件输出：描述与问答在 Deepnote 打开 ↗
图像条件、teacher forcing、真实生成、greedy/beam与VQA控制
Lecture 03图像怎样约束句子与回答