# 一个空间格子也能保存左右差异 [独立阅读](/course/blocks/channel-retains-left-right.html)**课堂上下文:从哪个问题来** 保持 1×1 网格,增加左右差通道即可让甲乙从同为 .5 变成 [.5,+1] 与 [.5,−1]。这说明信息不只由空间尺寸决定,也说明新通道只保证当前任务所需区别,并没有恢复任意原图。 继续用甲、乙两张 2×2 图。第一通道取均值 .5,第二通道取左列均值减右列均值。甲得到 $1-0=+1$,乙得到 $0-1=-1$,因此表示分别为 $[.5,+1]$ 与 $[.5,-1]$。空间大小都是 1×1,却已经有了可区分输入。 一个简单读出只需看第二通道符号,就可判断亮列在左还是右。与 P44 相比,成功不来自输出图画得更密,而来自编码器在压缩时额外保存了一项与任务有关的统计。 也不要因此推断两个通道足以恢复任意 2×2 图案。四个像素有更多自由度,均值与左右差只保存两种统计,仍可能有别的图案碰撞。表示的价值应围绕任务判断:如果只要左右,这项统计够用;若还要区分上下,就需要保留额外差别。 真实网络的通道是训练学到的,通常不是这样手写。因此下游 probe、迁移任务与可控干预仍然重要。张量有多少格、多少通道,提供的是容量线索,不是任务信息已被利用的证明。 图内标签与数值:Lecture 03 课堂图解 P45;增加输出格点;0.5;0.5;0.5;0.5;0.5;相同数值被重复;保存一个新通道:左均值 − 右均值;1;0;1;0;0;1;0;1;A = [0.5, +1];方向:1 − 0 = +1;B = [0.5, −1];方向:0 − 1 = −1;更密 ≠ 更多区别;分辨率与信息量不是同一件事;构造说明“可以编码这项区别”,不是保证真实网络会自动学到它。 相同网格增加左右差通道,使两种布局可分。 查看对应图解状态 - 增加输出格点 - 0.5 - 0.5 - 0.5 - 0.5 - 0.5 - 相同数值被重复 - 保存一个新通道:左均值 − 右均值 - 1 - 0 - 1 - 0 - 0 - 1 - 0 - 1 - A = [0.5, +1] - 方向:1 − 0 = +1 - B = [0.5, −1] - 方向:0 − 1 = −1 - 更密 ≠ 更多区别 - 分辨率与信息量不是同一件事 - 构造说明“可以编码这项区别”,不是保证真实网络会自动学到它。相同网格增加左右差通道,使两种布局可分。 [查看对应图解状态](/#/l3-r2-p45/0)[查看完整图解](/#/l3-r2-p45/0) ## 继续阅读与实验