资源调度方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:40255516 阅读:23 留言:0更新日期:2024-02-02 22:48
本申请属于大数据技术领域,涉及一种资源调度方法,包括确定各原始节点的资源指标信息,基于资源指标信息,确定容器在各原始节点的运行概率,基于运行概率,从原始节点中确定每个容器的分配节点,基于每个分配节点对应的资源指标信息,计算作业进度,其中,作业进度表示所有容器中的任务分配到的资源量占比,若作业进度达到最优,则确定分配节点为容器所运行的目标节点,即通过将节点的资源调度问题抽象为任务与资源间的分配问题,使得在对节点的资源分配结果进行评价时,引入了整体作业进度指标,有助于提升集群整体分配效益,使得任务分配更加均衡,分配更合理。

【技术实现步骤摘要】

本申请涉及大数据,尤其涉及一种资源调度方法、装置、计算机设备及存储介质


技术介绍

1、在传统的hadoop(哈多普,一个开源的分布式计算平台,用于存储和处理大规模数据集的分布式计算框架)资源调度器中,capacity和fair等调度器是基于同构集群进行设计的,在调度的过程中没有考虑各个节点的性能差异和负载情况,而是对节点进行轮询,只要找到符合任务需求的节点就将任务分配给该节点运行。在这样的机制下,若集群中的任务被分配到性能相对不佳的节点上时,该任务将会耗费更长的时间,从而影响整体作业的完成进度。在现实生产中,由于集群资源受限、节约成本等因素限制,往往搭建的是异构集群,异构集群下的节点性能存在差异,容易造成任务分配的不合理和负载的不均衡。


技术实现思路

1、本申请实施例的目的在于提出一种资源调度方法、装置、计算机设备及存储介质,以解决异构集群下的节点性能存在差异容易造成任务分配的不合理和负载不均衡的问题。

2、为了解决上述技术问题,本申请实施例提供一种资源调度方法,采用了如下的技术方案:

<本文档来自技高网...

【技术保护点】

1.一种资源调度方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的资源调度方法,其特征在于,所述确定各原始节点的资源指标信息,包括:

3.根据权利要求2所述的资源调度方法,其特征在于,所述基于所述资源指标信息,确定所述容器在各所述原始节点的运行概率,包括:

4.根据权利要求1所述的资源调度方法,其特征在于,所述基于所述运行概率,从所述原始节点中确定每个所述容器的分配节点,包括:

5.根据权利要求4所述的资源调度方法,其特征在于,在所述基于所述运行概率,从所述原始节点中确定每个所述容器的分配节点之后,所述方法还包括

6....

【技术特征摘要】

1.一种资源调度方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的资源调度方法,其特征在于,所述确定各原始节点的资源指标信息,包括:

3.根据权利要求2所述的资源调度方法,其特征在于,所述基于所述资源指标信息,确定所述容器在各所述原始节点的运行概率,包括:

4.根据权利要求1所述的资源调度方法,其特征在于,所述基于所述运行概率,从所述原始节点中确定每个所述容器的分配节点,包括:

5.根据权利要求4所述的资源调度方法,其特征在于,在所述基于所述运行概率,从所述原始节点中确定每个所述容器的分配节点之后,所述方法还包括:

6.根据权利要求1-5任意一项所述的资源调度...

【专利技术属性】
技术研发人员:李雨洁
申请(专利权)人:中国平安财产保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1