Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示训练留下什么,训练答案又从哪里来?

分开答案来源、预测任务和惩罚方式

解释、算例与证据

P06 · 没有类别标签,不等于没有学习目标

把“自监督、分类、交叉熵”放回不同维度,后面才不会用方法名替代完整学习链。

P06 学习表示机制图,状态 1P06 学习表示机制图,状态 1有监督分类人工类别答案预测类别视图对应指定视图配对选择对应隐藏内容预测原图隐藏像素预测像素自监督说信号从哪里来;对比与重建说任务怎样构造。

分类图片、同图两裁剪、遮挡网格三种输入分别连接人工类别、指定配对和原图像素目标。

  • 有监督分类
  • 人工类别答案
  • 预测类别
  • 视图对应
  • 指定视图配对
  • 选择对应
  • 隐藏内容预测
  • 原图隐藏像素
  • 预测像素
  • 自监督说信号从哪里来;对比与重建说任务怎样构造。
分类图片、同图两裁剪、遮挡网格三种输入分别连接人工类别、指定配对和原图像素目标。 查看对应图解状态
查看完整图解

课堂讲述

把刚才的问题整理一下。有监督分类使用人工类别答案;自监督则从数据中构造目标,例如判断两个视图是否对应,或者预测被隐藏的内容。它们仍然可以使用分类式或回归式的损失,仍然通过误差来调整参数。 因此,自监督说的是监督信号怎样获得;对比学习说的是怎样比较样本;重建说的是预测什么。这几个词不在同一个分类维度上,不能排成互相替代的三个版本。 今天先沿两条路线走深:利用视图对应关系学习,以及利用缺失内容预测学习。我们要看到的不只是它们不用类别标签,还要看到研究者怎样通过任务设计,要求表示保留某些区别、忽略另一些变化。

监督来源、预测任务与损失要分开

独立阅读

“自监督”说明目标怎样取得;“分类”说明输出怎样组织;“交叉熵”说明怎样惩罚预测。这是三个维度,不是互斥方法名。人工类别标签可以训练softmax分类,从同图视图身份构造的标签也可以训练softmax分类;两者都能用交叉熵。

对比学习的一题是“候选中哪一个和查询同源”;遮挡重建的一题是“这个隐藏位置原来是什么像素”。它们都从数据构造目标,却要求保留不同结构。目标不是“没有答案”,只是答案不是额外写下的类别名称。

判断一个实验时,依次写出输入、目标的取得过程、模型输出、损失和最终评价。若只写“用了自监督”,还不知道它学到了什么;若写出完整链条,就能发现有没有把隐藏真值意外送入输入,或把训练损失当成另一项任务的成绩。

沿这个问题继续

选LAB 06或LAB 08之一,标出输入、目标来源、输出、损失、读出;不需要两本同时完成。

按问题回查的讲解与短练习(1)

这条线索的展开与后续阅读