模型处理方法、装置、计算机可读存储介质和电子设备制造方法及图纸

本申请实施例公开了一种模型处理方法、装置、计算机可读存储介质和电子设备；通过构建初始模型，初始模型包括文本编码器、映射模块、语言模型，文本编码器为图文匹配模型中的文本编码器；利用训练样本训练初始模型中的至少部分，得到中间模型；将图文匹配模型中的图像编码器替换中间模型中的文本编码器，得到目标模型。以此，通过对包含图文匹配模型中的文本编码器的初始模型进行模型训练，将训练好的初始模型中的文本编码器替换为图文匹配模型中的图像编码器，从而基于包含图文匹配模型中的图像编码器的目标模型，实现以较低的模型训练成本获取到可以识别多模态信息的多模态模型，降低了多模态模型的训练成本，进而提升了模型处理效率。

【技术实现步骤摘要】

本申请涉及互联网，具体涉及一种模型处理方法、装置、计算机可读存储介质和电子设备。

技术介绍

1、随着互联网技术的快速发展，人工智能模型的应用越来越广泛，例如，采用大语言模型处理多种自然语言任务。其中，大语言模型(llm)经过大量数据的训练，可以展现出强大的理解能力和生成能力，可以应用于翻译、对话等文本生成任务。大语言模型往往只能识别文本模态的信息，而现实世界的信息是多模态的，因此，构建一个能够理解图像和文本的多模态大模型，将具有广泛的应用前景。

2、在对现有技术的研究和实践过程中发现，在现有的构建多模态模型的模型处理方法中，需要使用大量的图像文本对数据进行多模态模型的训练，然而，由于需要图文配对以及人工标注，图文对数据的获取成本较高，进而使得模型的训练成本较高。

技术实现思路

1、本申请实施例提供一种模型处理方法、装置、计算机可读存储介质和电子设备，可以降低多模态模型的训练成本，进而提升了模型处理效率。

2、本申请实施例提供一种模型处理方法，包括：

3、构建初始模型，所述初本文档来自技高网...

【技术保护点】

1.一种模型处理方法，其特征在于，包括：

2.如权利要求1所述的模型处理方法，其特征在于，所述训练样本包括第一训练样本，所述第一训练样本为第一文本信息，所述利用训练样本训练所述初始模型中的至少部分，得到中间模型，包括：

3.如权利要求2所述的模型处理方法，其特征在于，所述映射模块包括预设查询特征，所述通过所述映射模块将所述第一文本特征映射到所述语言模型的特征空间中，得到第一映射特征，包括：

4.如权利要求1至2中任一项所述的模型处理方法，其特征在于，所述训练样本包括第二训练样本，所述第二训练样本包括第二文本信息、答复指示信息以及所述第二文本信息在所述答...

【技术特征摘要】

1.一种模型处理方法，其特征在于，包括：

2.如权利要求1所述的模型处理方法，其特征在于，所述训练样本包括第一训练样本，所述第一训练样本为第一文本信息，所述利用训练样本训练所述初始模型中的至少部分，得到中间模型，包括：

3.如权利要求2所述的模型处理方法，其特征在于，所述映射模块包括预设查询特征，所述通过所述映射模块将所述第一文本特征映射到所述语言模型的特征空间中，得到第一映射特征，包括：

4.如权利要求1至2中任一项所述的模型处理方法，其特征在于，所述训练样本包括第二训练样本，所述第二训练样本包括第二文本信息、答复指示信息以及所述第二文本信息在所述答复指示信息下的答复信息，所述利用训练样本训练所述初始模型中的至少部分，得到中间模型，包括：

5.如权利要求1所述的模型处理方法，其特征在于，在对所述初始模型中的至少部分进行训练时，所述初始模型中的所述文本编码器和所述语言模型不参与训练。

6.如权利要求1所述的模型处理方法，其特征在于，在所述利用训练样本训练所述初始模型中的至少部分，得到中间模型之前，...

【专利技术属性】
技术研发人员：陈云开，王启萌，高龑，
申请(专利权)人：书行科技北京有限公司，
类型：发明
国别省市：