Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示怎样判断表示支持了哪种使用方式?

信息还在,与一条直线能读出是两件事

独立阅读
课堂上下文:从哪个问题来

解释训练空间与使用空间可以不同,同时明确投影头不截断梯度,也不保证保存一切。

四点 h 为 (−1,−1)、(−1,+1)、(+1,−1)、(+1,+1),同号标签 0、异号标签 1。每一点都不同,标签由 h 完全确定;但两类位于对角,无法用一条直线完全分开。

左图四个 h 坐标:同号两角为标签 0、异号两角为标签 1;右图 z=h1h2 数轴,两个标签 1 输入都落在 −1,两个标签 0 输入都落在 +1,阈值为 0。每个数轴位置对应两个输入。
放大查看四点图 ↗ · 精确构造的四点读出:左图保留输入身份,右图用乘积改变可读形式。图中位置和标签由数据表确定,并非训练输出。

左图每个输入都有独立坐标,标签也完全由坐标确定;但同类占据对角,不能用一条直线把两类完全分开。右图只保留乘积 z=h1h2z=h_1h_2:两个异号输入都落在 −1,两个同号输入都落在 +1。现在一个零阈值 z<0z<0 就能正确读取标签;每个数轴位置合并了两个输入,图中不通过抖动伪造不同的 z 值。

h1 h2 标签 y z=h1h2
−1 −1 0 +1
−1 +1 1 −1
+1 −1 1 −1
+1 +1 0 +1

这个变换没有增加标签信息,并且合并了原来不同的输入身份。它是四点上的精确构造,不是某次训练得到的表征,也不能证明任意压缩都会改善读出,或少量训练样本一定能学出这个变换。

以下是备课用模拟追问,不是课堂实录。

学生:“既然左图不能画一条分界线,是不是标签信息已经丢了?”

教师:“先看数据表,每个 h 都仍唯一确定标签;失败的是单一直线这类读出。换一个乘积坐标后,一条阈值就足够。可是只看 z,你已不能恢复原来是哪一个同号角点。这正好把‘某任务的信息’‘原输入身份’和‘读出函数能否使用’分开。”

因此低维不必等于丢掉任务信息,线性失败也不必等于信息全无。LAB18 同时报告 XOR 读出与离散 bit 算例;把结论限定在明确的输入、标签和函数类上,比笼统说“表示越压缩越好”更准确。

继续阅读与实验