多模态模型的部署系统、方法、电子设备及可读存储介质技术方案

本申请提供了多模态模型的部署系统、方法、电子设备及可读存储介质，当接收到模型部署需求时，模型管理模块从预先存储的多个模型子结构中，确定出与模型部署需求对应的至少一个目标模型种类子结构，同时将至少一个目标模型种类子结构以及存储的目标有向无环图发送至多模块结构组合模块；多模块结构组合模块在接收到至少一个目标模型种类子结构后，对至少一个目标模型种类子结构进行组合，生成目标多模态模型结构，进而将目标多模态模型结构发送至模型部署模块，模型部署模块根据底层基础配置信息以及目标多模态模型结构，部署得到目标多模态模型。这样，可以提升多模态模型的部署的灵活性以及部署效率。

【技术实现步骤摘要】

本申请涉及计算机，尤其是涉及多模态模型的部署系统、方法、电子设备及可读存储介质。

技术介绍

1、多模态模型任务会涉及到多种深度学习技术，如语音识别、自然语言处理、计算机视觉等，所以在处理相关任务时也会向多模态模型中输入多种模态的数据，如语音、文本、图像等。而多模态模型的输出一般以文本为主，但是随着科学技术的发展，多模态模型的输出也朝向多种输出方式的方向发展，由于模型的部署方案需要针对不同的结构进行不同的部署设置，灵活度不够，因此，对于多模态模型的部署也存在不灵活、部署效率较低的问题。

技术实现思路

1、有鉴于此，本申请的目的在于提供多模态模型的部署系统、方法、电子设备及可读存储介质，在接收到模型部署需求时，多模态模型的部署系统的模型管理模块存储有多个模型子结构，进而根据依据多模块结构组合模块组合出不同结构的目标多模态模型结构，并通过模型部署模块进行部署，可以依据部署系统采用统一的部署方案部署不同结构组合的多模态模型，有助于提升多模态模型的部署的灵活性以及部署效率。

2、第一方面，本申请实施例提供了本文档来自技高网...

【技术保护点】

1.一种多模态模型的部署系统，其特征在于，所述部署系统包括模型管理模块、多模块结构组合模块以及模型部署模块；

2.根据权利要求1所述的部署系统，其特征在于，所述模型管理模块还用于：

3.根据权利要求2所述的部署系统，其特征在于，针对于每一个类别种类关联三个数据库表，分别用于存储所述待注册模型结构的模型结构名称信息、所述待注册模型结构的输入输出维度信息、所述待注册模型结构的大小信息以及所述待注册模型结构的上下游关系。

4.根据权利要求2所述的部署系统，其特征在于，所述类别种类包括编码器种类、转接器种类、复杂大模型种类以及解码器种类；所述模型管理模块用于通...

【技术特征摘要】

1.一种多模态模型的部署系统，其特征在于，所述部署系统包括模型管理模块、多模块结构组合模块以及模型部署模块；

2.根据权利要求1所述的部署系统，其特征在于，所述模型管理模块还用于：

3.根据权利要求2所述的部署系统，其特征在于，针对于每一个类别种类关联三个数据库表，分别用于存储所述待注册模型结构的模型结构名称信息、所述待注册模型结构的输入输出维度信息、所述待注册模型结构的大小信息以及所述待注册模型结构的上下游关系。

4.根据权利要求2所述的部署系统，其特征在于，所述类别种类包括编码器种类、转接器种类、复杂大模型种类以及解码器种类；所述模型管理模块用于通过以下步骤构建所述目标有向无环图：

5.根据权利要求4所述的部署系统，其特征在于，所述预设的子结构上下游关系为所述编码器种类为所述转接器种类的上游、所述转接器种类为所述复杂大模型种类的上游、所述复杂大模型种类为所述解码器种类的上游。

6.根据权利要求1所述的部署系统，其特征在于，所述部署系统还包括模型加速模块，所述模型加速模块用于...

【专利技术属性】
技术研发人员：曹旭，张鹏飞，苏江，
申请(专利权)人：暗物质北京智能科技有限公司，
类型：发明
国别省市：