一种多模态模型的训练方法及装置制造方法及图纸

本说明书实施例提供一种多模态模型的训练方法及装置，多模态模型包括编码网络及可训练的包括路由层及若干并行设置的专家网络的任务网络，该方法包括：获取编码网络处理样本图像及文本形式的任务指令得到的、包括各图像词元及各文本词元各自对应的第一词元特征的第一词元特征序列；利用第一词元特征序列，通过路由层，确定各个词元对应的包括各个专家网络相对于该词元被激活的概率的概率集合；基于各个词元对应的概率集合和第一词元特征，通过各个词元各自对应的激活专家网络，得到各个词元对应的第二词元特征；基于各个词元的第二词元特征，预测针对样本图像执行任务指令的任务结果；基于任务结果及任务指令对应的标签结果，调整任务网络。

【技术实现步骤摘要】

本说明书涉及计算机，尤其涉及一种多模态模型的训练方法及装置。

技术介绍

1、目前，可以将视觉模型通过桥接层接入语言模型，从而得到能够处理图像模态数据和文本模态数据的多模态模型，其中，桥接层用于对齐图像模态数据对应的特征和文本模态数据对应的特征。为了进一步提高多模态模型在下游任务上的性能，需要针对特定下游任务对多模态模型进行微调。

2、因此，期望能有改进的方案，更好地对多模态多任务的大模型进行微调。

技术实现思路

1、本说明书一个或多个实施例提供了一种多模态模型的训练方法及装置，以实现对多模态多任务的大模型进行微调，即实现对多模态模型的自适应微调，提高多模态模型在多种下游任务上的性能。

2、根据第一方面，提供一种多模态模型的训练方法，所述多模态模型包括预训练的编码网络以及可训练的任务网络，所述任务网络包括路由层，以及若干并行设置的专家网络，所述方法包括：

3、获取所述编码网络处理样本图像以及文本形式的任务指令得到的第一词元特征序列，所述第一词元特征序列包括，各图像词元以及各文本文档来自技高网...

【技术保护点】

1.一种多模态模型的训练方法，所述多模态模型包括编码网络以及可训练的任务网络，所述任务网络包括路由层，以及若干并行设置的专家网络，所述方法包括：

2.如权利要求1所述的方法，其中，所述得到各个词元对应的第二词元特征，包括：

3.如权利要求1所述的方法，其中，各专家网络通过如下任意网络实现：LoRA网络和多层感知机。

4.如权利要求1所述的方法，其中，所述多模态模型还包括若干特征处理层，所述若干特征处理层包括注意力层和前馈神经网络；所述任务网络设置于所述注意力层和前馈神经网络之间。

5.如权利要求4所述的方法，其中，所述确定各个词元对应的概率...

【技术特征摘要】

1.一种多模态模型的训练方法，所述多模态模型包括编码网络以及可训练的任务网络，所述任务网络包括路由层，以及若干并行设置的专家网络，所述方法包括：

2.如权利要求1所述的方法，其中，所述得到各个词元对应的第二词元特征，包括：

3.如权利要求1所述的方法，其中，各专家网络通过如下任意网络实现：lora网络和多层感知机。

4.如权利要求1所述的方法，其中，所述多模态模型还包括若干特征处理层，所述若干特征处理层包括注意力层和前馈神经网络；所述任务网络设置于所述注意力层和前馈神经网络之间。

5.如权利要求4所述的方法，其中，所述确定各个词元对应的概率集合，包括：

6.如权利要求5所述的方法，其中，所述得到各个词元对应的第二词元特征，包括：

7.如权利要求1所述的方法，其中，所述多模态模型还包括若干特征处理层，所述若干特征处理层包括注意力层和前馈神经网络；所述任务网络设置于所述前馈神经网络之后。

8.如权利要求1所述的方法，其中，所述多模态模型还包括若干特征处理层，所述若干特征处...

【专利技术属性】
技术研发人员：轩诗宇，郭清沛，杨铭，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：