大模型部署方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及大模型技术领域，适用于金融科技及医疗健康养老领域，公开了一种大模型部署方法、装置、计算机设备及存储介质。方法包括：建立第一容器，通过第一容器加载目标大模型，并运行目标大模型；通过分组方式和/或量化方式，封装目标大模型，得到二进制格式的模型文件；删除第一容器中的目标大模型，根据第一容器生成镜像文件；关联模型文件与镜像文件，得到关联信息数据；将关联信息数据、模型文件和镜像文件传输至云存储设备。本申请的大模型部署方法，能够降低大模型的传输带宽、存储资源、部署流程与算力运维等方面的消耗，提升大模型的管理使用系统效能。

【技术实现步骤摘要】

本申请涉及大模型，尤其涉及一种大模型部署方法、装置、计算机设备及存储介质。

技术介绍

1、随着人工智能技术在金融科技及医疗健康养老领域的广泛应用，其对云基础设施的依赖程度日益加深。云技术作为支撑企业ai转型的关键技术，为金融科技的智能风控、精准营销以及医疗健康养老的远程诊断、个性化治疗方案等创新应用提供了强大的算力和存储支持。然而，传统的人工智能大模型部署流程的云技术方案面临着传输带宽过高、存储空间过大、部署运维困难等诸多挑战，这些问题不仅限制了云上应用的快速迭代与增长，也对金融科技及医疗健康养老等领域的人工智能服务与云服务的安全性、稳定性与高效性构成了威胁。

技术实现思路

1、本申请公开的一种大模型部署方法、装置、计算机设备及存储介质，解决相关技术中大模型传输、存储、管理、部署、使用效率过低的问题，能够降低大模型本身的传输带宽、存储资源、部署流程与算力运维等方面的消耗，提升大模型的管理使用系统效能，降低时延，节约带宽与算力资源，确保了云服务的安全稳定流畅运行。

2、第一方面，本申请提供了一种大模本文档来自技高网...

【技术保护点】

1.一种大模型部署方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述建立第一容器，通过所述第一容器运行所述目标大模型，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一容器生成镜像文件，包括：

4.根据权利要求1所述的方法，其特征在于，包括：

5.根据权利要求4所述的方法，其特征在于，所述建立第二容器包括：

6.根据权利要求1所述的方法，其特征在于，所述云存储设备包括第一云存储系统和第二云存储系统；所述将所述关联信息数据、所述模型文件和所述镜像文件传输至云存储设备包括：</p>

7.根据...

【技术特征摘要】

1.一种大模型部署方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述建立第一容器，通过所述第一容器运行所述目标大模型，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一容器生成镜像文件，包括：

4.根据权利要求1所述的方法，其特征在于，包括：

5.根据权利要求4所述的方法，其特征在于，所述建立第二容器包括：

6.根据权利要求1所述的方法，其特征在于，所述云存储设备包括第一云存储系统和第二云存储系统；所述将所述关联信息数据、所述模型文件和所述镜像文件传输至云存储设备包括：

7.根据权利要求6所述的方法，其...

【专利技术属性】
技术研发人员：吴明宝，李雄，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：