System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及资源调度,具体涉及资源调度方法、装置、计算机设备、存储介质及程序产品。
技术介绍
1、随着数据中心对计算资源需求的不断增加,尤其是在涉及复杂数据处理和深度学习任务时,如cpu(central processing unit,中央处理器)或gpu(graphics processingunit,图形处理器),这种传统的单一资源类型,其计算模式已难以满足效率和性能的双重需求,因此,异构计算资源的配置,特别是同时利用cpu、gpu以及专用的dpu(dataprocessing unit,数据处理单元)的情况越来越普遍。
2、目前,对于异构计算资源的管理和调度不够灵活,无法有效利用不同处理器的优势,导致计算任务完成效率较低,甚至无法完成,缺乏针对性和灵活性。
技术实现思路
1、有鉴于此,本专利技术提供了一种资源调度方法、装置、计算机设备、存储介质及程序产品,以解决计算任务完成效率较低,甚至无法完成,缺乏针对性和灵活性的问题。
2、第一方面,本专利技术提供了一种资源调度方法,包括:基于监听到的容器组的创建信息,从节点池中筛选出节点组;其中,节点组包含的硬件资源用于承载容器组上的负载;节点池用于表征存储所有节点的容器池;获取资源监视器发送的节点组中的多个节点分别对应的计算资源信息;其中,资源监视器部署在节点组中的多个节点上,用于通过运行在多个节点上的监控代理获取计算资源信息;计算资源信息表示可应用于容器组上的负载计算的硬件资源信息,包括中央处理器资源信息、
3、本专利技术基于监听到的容器组的创建信息,从节点池中筛选出节点组,得到用于承载容器组上的负载的硬件资源的节点组,初步进行筛选,简化后续筛选过程,避免筛选资源的浪费。本专利技术的资源监视器部署在节点组中的多个节点上,用于通过运行在多个节点上的监控代理获取计算资源信息,实现实时计算资源监控,能够准确掌握各计算资源的使用情况,为资源调度提供准确的数据支持,确保分配过程中不会出现超过资源限制的情况。本专利技术的计算资源信息包括中央处理器资源信息、图形处理器资源信息和数据处理单元资源信息,因此可实现对于中央处理器、图形处理器以及数据处理单元的资源调度,提高计算任务完成的效率。本专利技术获取节点组中的多个节点分别对应的计算资源信息,为多个节点分别对应的计算资源信息进行打分,打分的过程是对节点对应的计算资源的评估过程,通过对节点对应的计算资源进行评估,确定节点是否可以满足容器组对应的目标负载的运行,同时在多个节点中选取至少一个目标节点,选取出的至少一个目标节点最大程度的符合容器组对应的目标负载的运行所需的计算资源,将至少一个目标节点与容器组绑定后,为容器组对应的目标负载的运行提供准确的计算资源,本专利技术通过细致和精确的计算资源分配,提高计算资源的利用率,避免计算资源的浪费,本专利技术考虑计算资源的特点和应用场景的需求,特别是在高性能计算和数据密集型任务中,有效地提升容器组对应的目标负载的运行效率和性能。
4、在一种可选的实施方式中,根据多个打分结果,在多个节点中选取至少一个目标节点,包括:在多个打分结果中,选择分数最高的打分结果,将分数最高的打分结果对应的节点,作为目标节点;资源调度方法还包括:当目标节点有多个且多个目标节点上部署的硬件资源数量不同时,在多个目标节点中,选择部署硬件资源数量最少的节点,与容器组绑定。
5、本专利技术通过在多个目标节点中,选择部署硬件资源数量最少的节点,由于图形处理器和数据处理单元与中央处理器通过扩展总线连接,而扩展总线的连接需要消耗一部分计算资源,因此优先选择部署硬件资源数量最少的节点,减少扩展总线的带来的资源消耗,留出更多的资源给图形处理器和数据处理单元的融合使用,从而为复杂的计算场景提供更优的资源配置方案,保证性能和资源效率的双重优化。
6、在一种可选的实施方式中,基于监听到的容器组的创建信息,从节点池中筛选出节点组,包括:基于监听到的容器组的创建信息,获取容器组创建时携带的对硬件资源的种类要求信息和数量要求信息;从节点池中筛选出满足种类要求信息和数量要求信息的节点组。
7、本专利技术根据获取到的容器组创建时携带的对硬件资源的种类要求信息和数量要求信息,首先筛选出满足种类要求信息和数量要求信息的节点组,便于后续再节点组中筛选目标节点,后续筛选时无需考虑节点是否满足容器组创建时携带的对硬件资源的种类要求信息和数量要求信息,节约筛选资源,且提高筛选的准确率。
8、在一种可选的实施方式中,为多个节点分别对应的计算资源信息进行打分,得到多个打分结果,包括:根据每个节点对应的第一计算资源信息,对每个节点上的中央处理器进行打分,得到中央处理器得分;其中,第一计算资源信息包括节点上的中央处理器的管理信息;根据每个节点对应的第二计算资源信息,对每个节点上的图形处理器进行打分,得到图形处理器得分;其中,第二计算资源信息包括节点上的图形处理器的管理信息;根据每个节点对应的第三计算资源信息,对每个节点上的数据处理单元进行打分,得到数据处理单元得分;其中,第三计算资源信息包括节点上的数据处理单元的管理信息;根据每个节点对应的第四计算资源信息,对每个节点上的扩展总线进行打分,得到扩展总线得分;其中,第四计算资源信息包括节点上的扩展总线的属性信息;根据每个节点对应的中央处理器得分、每个节点对应的图形处理器得分、每个节点对应的数据处理单元得分以及每个节点对应的扩展总线得分,得到每个节点对应的打分结果。
9、本专利技术融合中央处理器得分、图形处理器得分、数据处理单元得分以及扩展总线得分,考虑三种处理器之间的合作平衡关系,并融入对扩展总线得分,考虑扩展总线对三种处理器计算资源的影响,使得得到的打分结果更加准确,更加符合实际情况下对的计算资源的评估。
10、在一种可选的实施方式中,根据每个节点对应的第一计算资源信息,对每个节点上的中央处理器进行打分,得到中央处理器得分,包括:基于第一计算资源信息,将每个节点对应的中央处理器总量与每个节点对应的已使用的中央处理器数量的差,除以容器组携带的中央处理器需求量,得到第一打分结果;将时延惩罚系数与中央处理器的平均响应时延的积与第一预设值的和,取倒数,得到第二打分结果;对第一打分结果和第二打分结果加权求和,得到中央处理器得分。
11、在一种可选的实施方式中,根据每个节点对应的第二计算资源信息,对每个节点上的图形处理器进行打分,得到图形处理器得分,包括:基于第二计算资源,将每个节点对应的空闲的图形处理器数量取倒数,乘以空闲的图形处理器的性能权重的和,得到第三打分结果;根据每个节点对应的空闲的图形处理器数量与容器组携带的图形处理器的需求量的商,作为第四打分结果;对第三打分结果和第四打分结果加权求和,得到图形处理器得分。
12、在一种可选的实施方式中,根据本文档来自技高网...
【技术保护点】
1.一种资源调度方法,其特征在于,应用于调度器,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个打分结果,在所述多个节点中选取至少一个目标节点,包括:
3.根据权利要求1或2所述的方法,其特征在于,所述基于监听到的容器组的创建信息,从节点池中筛选出节点组,包括:
4.根据权利要求1或2所述的方法,其特征在于,所述为所述多个节点分别对应的所述计算资源信息进行打分,得到多个打分结果,包括:
5.根据权利要求4所述的方法,其特征在于,所述根据每个节点对应的第一计算资源信息,对每个节点上的中央处理器进行打分,得到中央处理器得分,包括:
6.根据权利要求4所述的方法,其特征在于,所述根据每个节点对应的第二计算资源信息,对每个节点上的图形处理器进行打分,得到图形处理器得分,包括:
7.根据权利要求4所述的方法,其特征在于,所述根据每个节点对应的第三计算资源信息,对每个节点上的数据处理单元进行打分,得到数据处理单元得分,包括:
8.根据权利要求4所述的方法,其特征在于,所述根据每个节点
9.根据权利要求4所述的方法,其特征在于,所述根据每个节点对应的所述中央处理器得分、每个节点对应的所述图形处理器得分、每个节点对应的所述数据处理单元得分以及每个节点对应的所述扩展总线得分,得到每个节点对应的打分结果,包括:
10.一种资源调度装置,其特征在于,应用于调度器,所述装置包括:
11.一种计算机设备,其特征在于,包括:
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至9中任一项所述的资源调度方法。
13.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令用于使计算机执行权利要求1至9中任一项所述的资源调度方法。
...【技术特征摘要】
1.一种资源调度方法,其特征在于,应用于调度器,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个打分结果,在所述多个节点中选取至少一个目标节点,包括:
3.根据权利要求1或2所述的方法,其特征在于,所述基于监听到的容器组的创建信息,从节点池中筛选出节点组,包括:
4.根据权利要求1或2所述的方法,其特征在于,所述为所述多个节点分别对应的所述计算资源信息进行打分,得到多个打分结果,包括:
5.根据权利要求4所述的方法,其特征在于,所述根据每个节点对应的第一计算资源信息,对每个节点上的中央处理器进行打分,得到中央处理器得分,包括:
6.根据权利要求4所述的方法,其特征在于,所述根据每个节点对应的第二计算资源信息,对每个节点上的图形处理器进行打分,得到图形处理器得分,包括:
7.根据权利要求4所述的方法,其特征在于,所述根据每个节点对应的第三计算资源信息,对每个节点上的数据...
【专利技术属性】
技术研发人员:张国栋,
申请(专利权)人:新华三云计算技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。