模型部署方法、系统及存储介质技术方案

本申请实施例提供一种模型部署方法、系统及存储介质，该方法应用于边缘侧资源集群，边缘侧资源集群包括部署在多个边缘侧的多个资源池，该方法包括：通过中心管理网络，获取中心服务器下发的模型部署请求，模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；通过边缘管理网络，将模型部署请求发送至目标边缘侧的资源池，目标边缘侧为模型运行区域对应的边缘侧；从目标边缘侧的资源池中，确定与资源调度策略匹配的目标资源池；基于目标资源池，部署待部署模型。实现了边缘侧自主调度的模型部署方法，由于边缘侧资源池资源和负载情况同步及时，提高了模型部署时资源调度的准确度，进而提高了所部署的模型的运行效率。率。率。

【技术实现步骤摘要】
模型部署方法、系统及存储介质


[0001]本申请实施例涉及资源调度
，尤其涉及一种模型部署方法、系统及存储介质。

技术介绍

[0002]随着人工智能(AI，Artificial Intelligence)不断发展，AI模型产品也越来越多。AI模型的推理服务对时延较为敏感，对AI模型的部署提出了更高的要求。
[0003]模型部署通常借助云端完成，通过合理的资源调度，实现在云端部署AI模型。由于云端节点拓扑越来越复杂，导致云端各节点的资源状态同步不及时，使得模型部署对应的资源调度准确度较差，从而影响模型运行效率。
[0004]因此，亟需提供一种准确度高的资源调度方案。

技术实现思路

[0005]本申请实施例提供一种模型部署方法、系统及存储介质，实现了边缘侧自主调度的模型部署，由边缘侧进行调度，资源负载信息同步的及时性高，提高了资源调度的准确度。
[0006]第一方面，本申请实施例提供一种模型部署方法，所述方法应用于边缘侧资源集群，所述边缘侧资源集群包括部署在多个边缘侧的多个资源池，所述方法包括：
...

【技术保护点】

【技术特征摘要】
1.一种模型部署方法，其特征在于，所述方法应用于边缘侧资源集群，所述边缘侧资源集群包括部署在多个边缘侧的多个资源池，所述方法包括：通过中心管理网络，获取中心服务器下发的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧；从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池；基于所述目标资源池，部署所述待部署模型。2.根据权利要求1所述的方法，其特征在于，资源池包括控制组件和模型运行模块；通过中心管理网络，获取中心服务器下发的模型部署请求，通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，包括：经由所述控制组件，通过中心管理网络，获取中心服务器下发的模型部署请求，并通过边缘管理网络，将所述模型部署请求发送至调度模型运行模块，所述调度模型运行模块为目标边缘侧的资源池的模型运行模块。3.根据权利要求2所述的方法，其特征在于，所述资源池还包括存储组件，用于存储资源池的资源信息和负载信息；从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池，包括：经由所述调度模型运行模块，获取所述目标边缘侧各存储组件中存储的资源信息和负载信息；基于所述资源信息和所述负载信息，从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池，并将所述模型部署请求发送至目标模型运行模块，其中，所述目标模型运行模为所述目标资源池的模型运行模块。4.根据权利要求3所述的方法，其特征在于，基于所述目标资源池，部署所述待部署模型，包括：所述目标模型运行模块向本地的运行时间组件发送模型加载指令；所述运行时间组件基于所述模型加载指令，部署所述待部署模型。5.根据权利要求4所述的方法，其特征在于，在所述运行时间组件基于所述模型加载指令，部署所述待部署模型之后...

【专利技术属性】
技术研发人员：马强，过晓春，陈信宇，程学功，
申请(专利权)人：联通数字科技有限公司联通云数据有限公司，
类型：发明
国别省市：