课堂主讲
导读
连续讲稿
补充阅读
问卷作业 ↗
连接层与任务使用方式,都需要训练
阶段二 · 图像指令训练任务使用
视觉编码器
冻结
保持参数
投影 W
可训练
更新参数
语言模型
可训练
更新参数
输入:图像 + 视觉指令
目标:指令对应的回答
可训练集合 { W, φ }
两个阶段都冻结视觉编码器;任务训练改变如何使用其特征。
限定原始 LLaVA §4.2。φ 为语言模型参数;不概括所有后续多模态模型的训练方案。
原始 LLaVA 两阶段都冻结视觉编码器;第二阶段更新投影与语言模型。 ·
在课堂播放器中查看
原始LLaVA的两阶段图:阶段一只更新投影;阶段二更新投影与语言模型;两个阶段的视觉编码器均冻结。
返回同一状态