Lecture 03已完成的基准运行

已完成的基准运行

并入相关学习路径

XOR的任务信息/身份信息、离散互信息与线性读出算例

已完成的基准运行

以下是本轮本地独立 Python 进程的实际标准输出，云端执行另行记录。

I(h;y), I(z;y), I(constant;y) bits 1.0 1.0 0.0
I(h;h), I(h;z) bits 2.0 1.0
linear probabilities on h [0.5, 0.5, 0.5, 0.5] on z [0.0102, 0.9898, 0.9898, 0.0102]
z keeps XOR label, loses which corner: label sufficiency is task dependent

h→z是确定映射，数据处理不能创造关于y的新信息；这里I(h;y)=I(z;y)=1bit，但z降低了读出难度。若下游任务换成“x₁是否为正”，z将无法区分两种答案。这给颜色增强提供了精确类比：某个目标需要忽略颜色，不代表其他目标也不需要。逻辑回归h的对称初始化停在0.5符合凸损失对称最优，不能把二分类threshold的偶然准确率称为XOR已学会。连接LAB06的h/z实训练，再检查有限样本与函数类的限制。