Lecture 033. 模型、损失与公平比较范围
3. 模型、损失与公平比较范围
按问题继续
RGB+问题输入、question-only对照、同图换问与同问换图
3. 模型、损失与公平比较范围
像素分支是两层 CNN 与保留布局的全连接表示;问题分支是 12 维可学习嵌入。拼接后输出七个答案的 logits,以交叉熵 训练。question-only 使用相同问题嵌入维度、答案空间与训练样本,但省去 CNN。两者都真正更新参数,不能把手填“red”冒充训练的语言基线。
完整模型参数更多,因此二者差距本身不是严格的等参数容量结论。我们在同一个完整模型上又做像素置零与错配,固定参数再移除正确图像条件。该消融更直接检验本次预测是否使用图像。