资源调度方法及装置、电子设备、存储介质制造方法及图纸

本发明专利技术实施例提供了一种基于Hadoop集群的资源调度方法及装置、电子设备、存储介质，涉及大数据技术领域，该资源调度方法包括：接收抢占资源线程的抢占资源请求；响应于所述抢占资源请求，获取需要计算资源的目标作业；根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。本发明专利技术实施例的技术方案是通过调整逻辑将分配中的抢占独立出来，提升集群的资源分配效率，提高了系统的工作效率。

Resource scheduling methods and devices, electronic equipment, storage media

【技术实现步骤摘要】
资源调度方法及装置、电子设备、存储介质
本专利技术涉及大数据
，具体而言，涉及一种基于Hadoop集群的资源调度方法、资源调度装置、电子设备以及计算机可读存储介质。
技术介绍
随着互联网技术的发展，大数据(BigData)
也得到了迅速发展。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。现有的技术方案中，分布式大数据的资源管理与作业调度是通过调度器在每次计算节点心跳过来时检查是否需要资源抢占，如果确定没有达到配置的资源分配最大值则进行分配处理。在该方案中，当某个队列消耗资源比较严重时会导致别的队列无法享受到冗余资源，而且在集群资源紧张时，进行了没有必要的抢占与释放，降低了Hadoop集群的工作效率。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术实施例的目的在于提供一种基于本文档来自技高网...

【技术保护点】
1.一种基于Hadoop集群的资源调度方法，其特征在于，包括：/n接收抢占资源线程的抢占资源请求；/n响应于所述抢占资源请求，获取需要计算资源的目标作业；/n根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；/n当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。/n

【技术特征摘要】
1.一种基于Hadoop集群的资源调度方法，其特征在于，包括：
接收抢占资源线程的抢占资源请求；
响应于所述抢占资源请求，获取需要计算资源的目标作业；
根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；
当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。


2.根据权利要求1所述的资源调度方法，其特征在于，接收抢占资源线程的抢占资源请求，包括：
接收目标作业，并将所述目标作业发送到对应的资源请求线程；
基于所述资源请求线程，判断所述目标作业对应的资源池是否有剩余计算资源；
当确定所述资源池没有所述剩余计算资源时，接收所述抢占资源线程的抢占资源请求。


3.根据权利要求2所述的资源调度方法，其特征在于，判断所述目标作业对应的资源池是否有剩余计算资源，包括：
获取计算节点的节点心跳，将所述节点心跳发送到资源请求线程；
根据所述节点心跳判断所述目标作业对应的资源池是否有剩余计算资源。


4.根据权利要求3所述的资源调度方法，其特征在于，所述当确定所述资源池没有所述剩余计算资源时，还包括：
当确定所述资源池有所述剩余计算资源时，将计算资源直接分配给对应的内存结构，并且等待所述资源请求线程获取下一次的心跳获取。


5.根据权利要求2所述的资源调度方法，其特征在于，所述将所述计算资源超额分配给所述目标作业，包括：
判断单个队列是否有需要资源的作业；
当确定单个队列有需要资源的作业时，根据所述目标作业已经使用的计算资源量计算得到整体集群中可以抢占的计算资源量；
基于所述可以抢占的计算资源...

【专利技术属性】
技术研发人员：吴怡燃，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11