## 分开答案来源、预测任务和惩罚方式 ## 解释、算例与证据 # P06 · 没有类别标签,不等于没有学习目标 把“自监督、分类、交叉熵”放回不同维度,后面才不会用方法名替代完整学习链。 图内标签与数值:P06 学习表示机制图,状态 1;有监督分类;人工类别答案;预测类别;视图对应;指定视图配对;选择对应;隐藏内容预测;原图隐藏像素;预测像素;自监督说信号从哪里来;对比与重建说任务怎样构造。 分类图片、同图两裁剪、遮挡网格三种输入分别连接人工类别、指定配对和原图像素目标。 - 有监督分类 - 人工类别答案 - 预测类别 - 视图对应 - 指定视图配对 - 选择对应 - 隐藏内容预测 - 原图隐藏像素 - 预测像素 - 自监督说信号从哪里来;对比与重建说任务怎样构造。分类图片、同图两裁剪、遮挡网格三种输入分别连接人工类别、指定配对和原图像素目标。 [查看对应图解状态](/#/l3-r2-p06/0)[查看完整图解](/course/figures/l3-r2-p06-0.html) ## 课堂讲述 把刚才的问题整理一下。有监督分类使用人工类别答案;自监督则从数据中构造目标,例如判断两个视图是否对应,或者预测被隐藏的内容。它们仍然可以使用分类式或回归式的损失,仍然通过误差来调整参数。 因此,自监督说的是监督信号怎样获得;对比学习说的是怎样比较样本;重建说的是预测什么。这几个词不在同一个分类维度上,不能排成互相替代的三个版本。 今天先沿两条路线走深:利用视图对应关系学习,以及利用缺失内容预测学习。我们要看到的不只是它们不用类别标签,还要看到研究者怎样通过任务设计,要求表示保留某些区别、忽略另一些变化。 ### 监督来源、预测任务与损失要分开 [独立阅读](/course/blocks/source-task-loss-three-axes.html) “自监督”说明目标怎样取得;“分类”说明输出怎样组织;“交叉熵”说明怎样惩罚预测。这是三个维度,不是互斥方法名。人工类别标签可以训练softmax分类,从同图视图身份构造的标签也可以训练softmax分类;两者都能用交叉熵。 对比学习的一题是“候选中哪一个和查询同源”;遮挡重建的一题是“这个隐藏位置原来是什么像素”。它们都从数据构造目标,却要求保留不同结构。目标不是“没有答案”,只是答案不是额外写下的类别名称。 判断一个实验时,依次写出输入、目标的取得过程、模型输出、损失和最终评价。若只写“用了自监督”,还不知道它学到了什么;若写出完整链条,就能发现有没有把隐藏真值意外送入输入,或把训练损失当成另一项任务的成绩。 ## 沿这个问题继续 选LAB 06或LAB 08之一,标出输入、目标来源、输出、损失、读出;不需要两本同时完成。 #### 按问题回查的讲解与短练习(1) **出处:**[S1 · 教材与出处](/course/round2-sources.html#S1) · [S2 · 教材与出处](/course/round2-sources.html#S2) #### 这条线索的展开与后续阅读 - [回到图像,先决定让它学什么](/supplement.html?return=l3-r2-p06/0#/l3-vision-targets/0) 本页说明 - [监督预算不是图像数量|什么结论还不能推出](/supplement.html?return=l3-r2-p06/0#/l3-supervision-budget-boundary/0) L03补充阅读