一种计算资源的调度方法及装置制造方法及图纸

技术编号:41616986 阅读:13 留言:0更新日期:2024-06-13 02:20
本说明书提供一种计算资源的调度方法及装置,应用于与设备服务器集群相连的设备管理平台,所述设备服务器集群中的每一设备服务器包含有物理硬件,所述设备管理平台维护有包含至少一台设备服务器的虚拟资源对象的虚拟资源池,每一虚拟资源对象分别对应所述至少一台设备服务器所含物理硬件中的至少一部分剩余计算资源;所述方法包括:获取机器学习任务以及执行所述机器学习任务所需的预期计算资源;根据所述预期计算资源从所述虚拟资源池中获取与所述机器学习任务相匹配的虚拟资源对象;将匹配到的虚拟资源对象对应的剩余计算资源分配至所述机器学习任务。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种计算资源的调度方法及装置


技术介绍

1、在机器学习领域中,通常可以借助设备服务器对相关数据进行模型训练等操作从而生成可以解决特定问题的模型。然而,在相关技术中,上述设备服务器通常只能以自身包含的物理硬件为单位一一处理机器学习任务,这将导致在上述机器学习任务所需资源远小于对应物理硬件所能提供的最大资源的情况下,上述物理硬件只能调用少量计算资源来处理相应机器,剩余的大量空闲资源遭到浪费,进而降低机器学习过程中的资源利用率,提高机器学习的整体成本;此外,针对上述机器学习任务的资源调度通常涉及系统底层,导致机器学习速度减慢,相关模型的迭代和优化效率降低。


技术实现思路

1、有鉴于此,本专利技术提供一种计算资源的调度方法及装置,以解决相关技术中的不足。

2、具体地,本专利技术是通过如下技术方案实现:

3、根据本专利技术的第一方面,提供了一种计算资源的调度方法,应用于与设备服务器集群相连的设备管理平台,所述设备服务器集群中的每一设备服务器包含有物理硬件,所述设备本文档来自技高网...

【技术保护点】

1.一种计算资源的调度方法,其特征在于,应用于与设备服务器集群相连的设备管理平台,所述设备服务器集群中的每一设备服务器包含有物理硬件,所述设备管理平台维护有包含至少一台设备服务器的虚拟资源对象的虚拟资源池,每一虚拟资源对象分别对应所述至少一台设备服务器所含物理硬件中的至少一部分剩余计算资源;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述预期计算资源从所述虚拟资源池中获取与所述机器学习任务相匹配的虚拟资源对象,包括:

3.根据权利要求1所述的方法,其特征在于,所述设备服务器集群包含多个设备服务器;所述方法还包括:

<p>4.根据权利要求...

【技术特征摘要】

1.一种计算资源的调度方法,其特征在于,应用于与设备服务器集群相连的设备管理平台,所述设备服务器集群中的每一设备服务器包含有物理硬件,所述设备管理平台维护有包含至少一台设备服务器的虚拟资源对象的虚拟资源池,每一虚拟资源对象分别对应所述至少一台设备服务器所含物理硬件中的至少一部分剩余计算资源;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述预期计算资源从所述虚拟资源池中获取与所述机器学习任务相匹配的虚拟资源对象,包括:

3.根据权利要求1所述的方法,其特征在于,所述设备服务器集群包含多个设备服务器;所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述设备服务器集群中的每一设备服务器配置有设备插件,所述设备插件用于维护与上报所在设备服务器的虚拟资源对象;所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述将匹配到的虚拟资源对象对应的剩余计算资源分配至所述机器学习任务,包括:

6.根据权利要求1所述的方法,其特征在于,所述虚拟资源对象为根据预设资源维度转换对应物理硬件具备的剩余计算资源所确定,所述预设资源维度至少包含所述物理硬件的算力使用率、数据存储大小、运算能力、指令执行能力或浮点计算能力。

7.根据权利要求1所述的方法,其特征在于,所述设备服务器集群中包含对应不同架构的物理硬件的设备服务器。

8.一种模型训练方法,...

【专利技术属性】
技术研发人员:孙丽娜李刚
申请(专利权)人:浙江极氪智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1