模型部署方法、系统、电子设备以及计算机可读存储介质技术方案

本申请公开了一种模型部署方法、系统、电子设备以及计算机可读存储介质，涉及大模型技术、模型部署领域。其中，该方法包括：获取待部署模型的模型文件；将模型文件分发至多个存储设备，其中，不同存储设备在地理位置上部署在不同地域内；将存储设备挂载至多个服务器集群中与存储设备部署在同一个地域的目标服务器集群上，以使待部署模型部署至多个服务器集群。本申请解决了相关技术中模型跨地域部署的效率较低的技术问题。效率较低的技术问题。效率较低的技术问题。

【技术实现步骤摘要】
模型部署方法、系统、电子设备以及计算机可读存储介质


[0001]本申请涉及大模型技术、模型部署领域，具体而言，涉及一种模型部署方法、系统、电子设备以及计算机可读存储介质。

技术介绍

[0002]目前的大模型会存储大量的参数和计算图结构，导致模型的模型文件非常大，在启动服务时加载模型需要花费很长时间，并且受限于地域、网络、硬件等因素，在涉及到跨地域文件传输的场景时会进一步延长加载时间，从而导致模型的部署效率较低。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种模型部署方法、系统、电子设备以及计算机可读存储介质，以至少解决相关技术中模型跨地域部署的效率较低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种模型部署方法，包括：获取待部署模型的模型文件；将模型文件分发至多个存储设备，其中，不同存储设备在地理位置上部署在不同地域内；将存储设备挂载至多个服务器集群中与存储设备部署在同一个地域的目标服务器集群上，以使待部署模型部署至多个服务器集群。...

【技术保护点】

【技术特征摘要】
1.一种模型部署方法，其特征在于，包括：获取待部署模型的模型文件；将所述模型文件分发至多个存储设备，其中，不同所述存储设备在地理位置上部署在不同地域内；在部署所述待部署模型的推理服务时，将所述存储设备挂载至多个服务器集群中与所述存储设备部署在同一个地域的目标服务器集群上，以使所述待部署模型部署至多个所述服务器集群。2.根据权利要求1所述的方法，其特征在于，所述存储设备包括：网络附接存储，其中，将所述模型文件分发至多个存储设备，包括：通过公共网络将所述模型文件发送至多个所述网络附接存储，并存储在多个所述网络附接存储中。3.根据权利要求1所述的方法，其特征在于，在部署所述待部署模型的推理服务时，将所述存储设备挂载至多个服务器集群中与所述存储设备部署在同一个地域的目标服务器集群上，包括：基于所述存储设备部署的目标地域，确定所述存储设备对应的目标虚拟专有网络；获取所述目标虚拟专有网络对应的服务器集群，得到所述目标服务器集群，其中，不同所述服务器集群对应不同虚拟专有网络；在部署所述待部署模型的推理服务时，将所述存储设备挂载至所述目标服务器集群中的服务器上。4.根据权利要求1所述的方法，其特征在于，在将所述存储设备挂载至多个服务器集群中与所述存储设备部署在同一个地域的目标服务器集群上之后，所述方法还包括：构建所述目标服务器集群的弹性调度集群；基于所述弹性调度集群，确定部署所述待部署模型所需的计算资源。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将预设资源分发至多个所述服务器集群；将所述模型文件分发至多个存储设备，包括：在所述预设资源分发完毕的情况下，将所述模型文件分发至多个所述存储设备。6.根据权利要求1所述的方法，其特征在于，获取待部署模型的模型文件，包括：从中心仓库中获取所述待部署模型的模型文件，其中，所述模型文件预先上传至所述中心仓库。7.根据权利要求1所述的方法，其特征在于，所述待部署模型为大语言模型。8.一种模型部署方法，其特征在于，包括：响应于接收到待部署模型的模型文件，将所述模型文件存储至中心仓库；响应于接收到模型分发请求，将所述中心仓库存储的所述模型文件分发至多个...

【专利技术属性】
技术研发人员：张欣，王凯，周躜，蔡寅翔，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：