Lecture 03 学习讲义
正文
工具
按问题查找
学习信号与表示训练留下什么,训练答案又从哪里来?

监督来源、预测任务与损失要分开

独立阅读
课堂上下文:从哪个问题来

把“自监督、分类、交叉熵”放回不同维度,后面才不会用方法名替代完整学习链。

“自监督”说明目标怎样取得;“分类”说明输出怎样组织;“交叉熵”说明怎样惩罚预测。这是三个维度,不是互斥方法名。人工类别标签可以训练softmax分类,从同图视图身份构造的标签也可以训练softmax分类;两者都能用交叉熵。

对比学习的一题是“候选中哪一个和查询同源”;遮挡重建的一题是“这个隐藏位置原来是什么像素”。它们都从数据构造目标,却要求保留不同结构。目标不是“没有答案”,只是答案不是额外写下的类别名称。

判断一个实验时,依次写出输入、目标的取得过程、模型输出、损失和最终评价。若只写“用了自监督”,还不知道它学到了什么;若写出完整链条,就能发现有没有把隐藏真值意外送入输入,或把训练损失当成另一项任务的成绩。

继续阅读与实验