选读:局部最高概率为何不保证整句最高概率
后续课程预备或按需选读,不列为本讲必讲内容。
课堂上下文:从哪个问题来
先沿画面指出视觉特征进入哪里,再指出已有文字与下一词目标。连续说明展开 shifted target、EOS、PAD 和实际生成,LAB13 提供已保存的实验结果。理解本页可先把文字预测器作为输入输出模块;整数移位只演示目标构造,完整图像描述还需要图像条件与实际生成。
这段作为第四讲生成和第七讲搜索的预备阅读;第三讲只需知道推理会接续自己的输出。令首词 A/B 概率为 0.6/0.4;A 后 X/Y 为 0.51/0.49;B 后 X/Y 为 0.9/0.1;下一步都以概率 1 输出 EOS。每层出边和为 1。
完整路径 AX、AY、BX、BY 的概率分别为 0.306、0.294、0.360、0.040。greedy 首先取 A,再取 X,得到 0.306;宽度 2 的 beam 首步保留 A/B,再展开并排序,能保留最终的 BX=0.36。这个可算小树解释局部选择与完整路径概率的差别。
有限 beam 仍可能在更大树里提前删掉最优前缀;更高模型概率也不保证更符合图像。如果模型把蓝杯误识成红杯,搜索更充分可能只是更坚定地输出错误描述。必须区分视觉建模错误、概率预测错误和搜索错误。
当前 LAB13 的实际模型中 greedy 与 beam=3 均为 100% 整句匹配,没有显示 beam 的经验优势。其热身代码采用另一棵归一化概率树,greedy=AZ、概率 0.3025,beam=BY、概率 0.36;两棵树各自定义自洽,不能把一棵树的首步概率与另一棵树的结果混用。