# 信息还在，与一条直线能读出是两件事
[独立阅读](/course/blocks/information-and-readable-form.html)**课堂上下文：从哪个问题来**
解释训练空间与使用空间可以不同，同时明确投影头不截断梯度，也不保证保存一切。


四点 h 为 (−1,−1)、(−1,+1)、(+1,−1)、(+1,+1)，同号标签 0、异号标签 1。每一点都不同，标签由 h 完全确定；但两类位于对角，无法用一条直线完全分开。



![左图四个 h 坐标：同号两角为标签 0、异号两角为标签 1；右图 z=h1h2 数轴，两个标签 1 输入都落在 −1，两个标签 0 输入都落在 +1，阈值为 0。每个数轴位置对应两个输入。](/course/knowledge-assets/xor-readable-form.svg)[放大查看四点图 ↗](/course/knowledge-assets/xor-readable-form.svg) · 精确构造的四点读出：左图保留输入身份，右图用乘积改变可读形式。图中位置和标签由数据表确定，并非训练输出。



左图每个输入都有独立坐标，标签也完全由坐标确定；但同类占据对角，不能用一条直线把两类完全分开。右图只保留乘积 $z=h_1h_2$：两个异号输入都落在 −1，两个同号输入都落在 +1。现在一个零阈值 $z<0$ 就能正确读取标签；每个数轴位置合并了两个输入，图中不通过抖动伪造不同的 z 值。



| h1 | h2 | 标签 y | z=h1h2 |
| --- | --- | --- | --- |
| −1 | −1 | 0 | +1 |
| −1 | +1 | 1 | −1 |
| +1 | −1 | 1 | −1 |
| +1 | +1 | 0 | +1 |



这个变换没有增加标签信息，并且合并了原来不同的输入身份。它是四点上的精确构造，不是某次训练得到的表征，也不能证明任意压缩都会改善读出，或少量训练样本一定能学出这个变换。



以下是备课用模拟追问，不是课堂实录。



**学生：**“既然左图不能画一条分界线，是不是标签信息已经丢了？”



**教师：**“先看数据表，每个 h 都仍唯一确定标签；失败的是单一直线这类读出。换一个乘积坐标后，一条阈值就足够。可是只看 z，你已不能恢复原来是哪一个同号角点。这正好把‘某任务的信息’‘原输入身份’和‘读出函数能否使用’分开。”



因此低维不必等于丢掉任务信息，线性失败也不必等于信息全无。LAB18 同时报告 XOR 读出与离散 bit 算例；把结论限定在明确的输入、标签和函数类上，比笼统说“表示越压缩越好”更准确。


## 继续阅读与实验