Lecture 034. 推理只接自己的输出,再检查视觉依赖
4. 推理只接自己的输出,再检查视觉依赖
按问题继续
真实CNN–GRU条件训练与greedy/beam生成、遮图/错图消融
4. 推理只接自己的输出,再检查视觉依赖
Greedy 每一步取当前分布的 argmax,追加到自己的前缀,遇到 EOS 停止。下面的 beam 真实展开每条未结束假设,累加 log probability,并只保留分数最高的 3 条;结束假设不再扩展,最长生成 8 个新 token。此处没有长度归一化,所以不同长度会受原始句子概率的长度偏好影响。保留数据已足够简单,两种搜索都能答对,并未显示 beam 胜出。
本册的整句精确匹配比较解码后的内容字符串:颜色、形状和位置需与规范句一致。words()会忽略BOS/PAD并在EOS处截断,因此这个分数不单独检查EOS出现的具体位置;停止行为应另看生成token序列。它适合唯一规范句子的合成任务。自然图像可有多种正确描述,不能照搬此指标。视觉置零是分布外干预,单独下降还不够;因此再做固定错配:把保留集图像循环移位一个位置,保持真值句子不变。这个排列无固定点,但不等于均匀随机抽样,也不能当作“随机猜测基线”。
先预测:固定 <bos> a,红方块左侧换成蓝圆右侧,哪个词最先应改变?随后检查 same_prefix_controls,不要把数据生成器的标签当成模型生成。