信息还在,与一条直线能读出是两件事
课堂上下文:从哪个问题来
解释训练空间与使用空间可以不同,同时明确投影头不截断梯度,也不保证保存一切。
四点 h 为 (−1,−1)、(−1,+1)、(+1,−1)、(+1,+1),同号标签 0、异号标签 1。每一点都不同,标签由 h 完全确定;但两类位于对角,无法用一条直线完全分开。
左图每个输入都有独立坐标,标签也完全由坐标确定;但同类占据对角,不能用一条直线把两类完全分开。右图只保留乘积 :两个异号输入都落在 −1,两个同号输入都落在 +1。现在一个零阈值 就能正确读取标签;每个数轴位置合并了两个输入,图中不通过抖动伪造不同的 z 值。
| h1 | h2 | 标签 y | z=h1h2 |
|---|---|---|---|
| −1 | −1 | 0 | +1 |
| −1 | +1 | 1 | −1 |
| +1 | −1 | 1 | −1 |
| +1 | +1 | 0 | +1 |
这个变换没有增加标签信息,并且合并了原来不同的输入身份。它是四点上的精确构造,不是某次训练得到的表征,也不能证明任意压缩都会改善读出,或少量训练样本一定能学出这个变换。
以下是备课用模拟追问,不是课堂实录。
学生:“既然左图不能画一条分界线,是不是标签信息已经丢了?”
教师:“先看数据表,每个 h 都仍唯一确定标签;失败的是单一直线这类读出。换一个乘积坐标后,一条阈值就足够。可是只看 z,你已不能恢复原来是哪一个同号角点。这正好把‘某任务的信息’‘原输入身份’和‘读出函数能否使用’分开。”
因此低维不必等于丢掉任务信息,线性失败也不必等于信息全无。LAB18 同时报告 XOR 读出与离散 bit 算例;把结论限定在明确的输入、标签和函数类上,比笼统说“表示越压缩越好”更准确。