把视觉表示接入一个已经会说话的模型

CLIP 视觉编码器原始 LLaVA：ViT-L/14网格特征线性投影 W视觉向量 → 语言维度文字指令：“谁拿着球？”语言模型 Vicuna视觉向量 + 文字指令回答“红衣人”接入的是一组视觉特征，而非一个 CLIP 匹配分数原始 LLaVA §4.1；网格数量为示意。参考回答用于解释接口，未作本轮视觉指令推理。
投影提供可训练接口，任务能力还取决于数据与训练。 · 在课堂播放器中查看

图像经CLIP视觉网格特征和线性投影进入Vicuna，与文字指令共同产生参考回答。

返回同一状态