连接层与任务使用方式,都需要训练

阶段二 · 图像指令训练任务使用视觉编码器冻结保持参数投影 W可训练更新参数语言模型可训练更新参数输入:图像 + 视觉指令目标:指令对应的回答可训练集合 { W, φ }两个阶段都冻结视觉编码器;任务训练改变如何使用其特征。限定原始 LLaVA §4.2。φ 为语言模型参数;不概括所有后续多模态模型的训练方案。
原始 LLaVA 两阶段都冻结视觉编码器;第二阶段更新投影与语言模型。 · 在课堂播放器中查看

原始LLaVA的两阶段图:阶段一只更新投影;阶段二更新投影与语言模型;两个阶段的视觉编码器均冻结。

返回同一状态