模型部署方法及装置、存储介质及电子设备制造方法及图纸

本申请实施例提供了一种模型部署方法及装置、存储介质及电子设备，其中，该方法包括：获取待部署在目标平台上的目标模型的第一文件集合，确定第一文件集合中包含权重信息的多个重要函数；在确定为多个重要函数已添加校验参数的情况下，将第一文件集合更新为第二文件集合，并使用预设的文件格式转换关系对第二文件集合进行数据编译，得到目标模型对应的目标格式文件；计算目标格式文件对应的调用校验值，以根据调用校验值与目标格式文件将目标模型部署在目标平台。通过本申请，解决相关技术中的模型部署方法，存在操作复杂麻烦，且容易泄露AI模型的权重的问题，进而达到了提高目标模型数据安全性以及模型稳定性的效果。模型数据安全性以及模型稳定性的效果。模型数据安全性以及模型稳定性的效果。

【技术实现步骤摘要】
模型部署方法及装置、存储介质及电子设备


[0001]本申请实施例涉及计算机领域，具体而言，涉及一种模型部署方法及装置、存储介质及电子设备。

技术介绍

[0002]近年来，随着人工智能技术的快速发展，各种新模型层出不穷，但大模型的效果一般来说是最好的。大模型通常拥有更多的参数和更深的网络结构，可以更好地学习和表示数据的特征，同时通过海量数据的学习，可以学到更多的知识。然而，大模型的训练成本很高，需要大量的计算资源和时间。因此，目前大模型通常只有少数几家头部厂商可以承担。这也导致了大模型的研发和推广相对较为集中，给其他公司和研究机构带来了巨大的挑战。对于大部分企业而言，若想使用大模型的能力，一般有2种方式，调用大模型官方的云应用程序编程接口和私有化部署。对于云应用程序编程接口方式，优点是简单方便，直接通过应用程序编程接口通过网络进行请求就可以拿到大模型的推理结果，但是缺点是服务的并发能力、推理耗时、模型的优化、生成结果的后处理等均有第三方决定，不够稳定；一种更为稳妥的方法就是私有化部署大模型，将大模型的权重、调用方式进行加密封装，私有化部署到企业内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型部署方法，其特征在于，包括：获取待部署在目标平台上的目标模型的第一文件集合，确定所述第一文件集合中包含权重信息的多个重要函数；在确定为所述多个重要函数已添加校验参数的情况下，将所述第一文件集合更新为第二文件集合，并使用预设的文件格式转换关系对所述第二文件集合进行数据编译，得到所述目标模型对应的目标格式文件；计算所述目标格式文件对应的调用校验值，以根据所述调用校验值与所述目标格式文件将所述目标模型部署在所述目标平台。2.根据权利要求1所述的方法，其特征在于，获取待部署在目标平台上的目标模型的第一文件集合之后，所述方法还包括：获取所述目标模型对应的权重文件，其中，所述权重文件用于指示所述目标模型包含的参数数据；为所述权重文件添加读写密钥，其中，所述读写密钥包括：所述权重文件在目标平台中的存储空间执行写入操作时的加密密钥以及所述权重文件在目标平台中的存储空间被执行读取操作时进行验证的解密密钥。3.根据权利要求2所述的方法，其特征在于，获取所述第一文件集合对应权重文件，包括：确定所述第一文件集合与所述权重文件之间的关联关系；在所述关联关系指示所述第一文件集合中包括所述权重文件的情况下，从所述第一文件集合中确定权重文件；在所述关联关系指示所述第一文件集合中不包括所述权重文件的情况下，根据所述目标模型的模型结构确定权重文件。4.根据权利要求3所述的方法，其特征在于，根据所述目标模型的模型结构确定权重文件，包括：控制所述目标模型进入初始化状态；识别所述目标模型在进入所述初始化状态之后的模型结构；确定所述模型结构中每一个子结构对应的参数属性以及所述参数属性对应的初始参数值；基于所述参数属性和所述初始参数值确定所述目标模型对应的权重文件。5.根据权利要求1所述的方法，其特征在于，使用预设的文件格式转换关系对所述第二文件集合进行数据编译，得到所述目标模型对应的目标格式文件，包括：在确定所述第二文件集合对应的第一代码类型的情况下，基于所述预设的文件格式转换关系确定与所述第一代码类型对应的第二代码类型，其中，所述预设的文件格式转换关...

【专利技术属性】
技术研发人员：申冲，赵旭东，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：