Lecture 03先拆开两个容易混淆的问题
先拆开两个容易混淆的问题
按问题继续
真实CNN–GRU条件训练与greedy/beam生成、遮图/错图消融
先拆开两个容易混淆的问题
训练的目标是 ,不是同时猜出整句。teacher forcing 提供真实前缀,所以输入 [BOS,a,red,square] 对齐目标 [a,red,square,EOS]。PAD 只用来把批量补成矩形,不是下一词答案;EOS 则是真正需要学习的结束事件。下面保留原有两条整数序列,直接打印 input、target 与 mask。
原概率树只写了 A→X 的 0.45,却把 AX 称为 greedy,没有交代另外 0.55 分给谁。现在补齐每层归一化的树:根的 A/B 为 0.55/0.45;A 的 X/Z 为 0.45/0.55;B 的 Y/Z 为 0.8/0.2。实际执行 greedy 得到 AZ,概率 0.3025;宽度 2 的 beam 得到 BY,概率 0.36。它解释局部最大不保证全句最大;并不证明 beam 在真实模型上一定改善内容正确性。