【技术实现步骤摘要】
本申请涉及大数据,尤其涉及一种资源调度方法、装置、计算机设备及存储介质。
技术介绍
1、在传统的hadoop(哈多普,一个开源的分布式计算平台,用于存储和处理大规模数据集的分布式计算框架)资源调度器中,capacity和fair等调度器是基于同构集群进行设计的,在调度的过程中没有考虑各个节点的性能差异和负载情况,而是对节点进行轮询,只要找到符合任务需求的节点就将任务分配给该节点运行。在这样的机制下,若集群中的任务被分配到性能相对不佳的节点上时,该任务将会耗费更长的时间,从而影响整体作业的完成进度。在现实生产中,由于集群资源受限、节约成本等因素限制,往往搭建的是异构集群,异构集群下的节点性能存在差异,容易造成任务分配的不合理和负载的不均衡。
技术实现思路
1、本申请实施例的目的在于提出一种资源调度方法、装置、计算机设备及存储介质,以解决异构集群下的节点性能存在差异容易造成任务分配的不合理和负载不均衡的问题。
2、为了解决上述技术问题,本申请实施例提供一种资源调度方法,采用了如下的
<本文档来自技高网...【技术保护点】
1.一种资源调度方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的资源调度方法,其特征在于,所述确定各原始节点的资源指标信息,包括:
3.根据权利要求2所述的资源调度方法,其特征在于,所述基于所述资源指标信息,确定所述容器在各所述原始节点的运行概率,包括:
4.根据权利要求1所述的资源调度方法,其特征在于,所述基于所述运行概率,从所述原始节点中确定每个所述容器的分配节点,包括:
5.根据权利要求4所述的资源调度方法,其特征在于,在所述基于所述运行概率,从所述原始节点中确定每个所述容器的分配节点之后,所述方法还包括
6....
【技术特征摘要】
1.一种资源调度方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的资源调度方法,其特征在于,所述确定各原始节点的资源指标信息,包括:
3.根据权利要求2所述的资源调度方法,其特征在于,所述基于所述资源指标信息,确定所述容器在各所述原始节点的运行概率,包括:
4.根据权利要求1所述的资源调度方法,其特征在于,所述基于所述运行概率,从所述原始节点中确定每个所述容器的分配节点,包括:
5.根据权利要求4所述的资源调度方法,其特征在于,在所述基于所述运行概率,从所述原始节点中确定每个所述容器的分配节点之后,所述方法还包括:
6.根据权利要求1-5任意一项所述的资源调度...
【专利技术属性】
技术研发人员:李雨洁,
申请(专利权)人:中国平安财产保险股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。