资源调度方法及装置、电子设备、存储介质制造方法及图纸

本发明专利技术实施例提供了一种基于Hadoop集群的资源调度方法及装置、电子设备、存储介质，涉及大数据技术领域，该资源调度方法包括：接收抢占资源线程的抢占资源请求；响应于所述抢占资源请求，获取需要计算资源的目标作业；根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。本发明专利技术实施例的技术方案是通过调整逻辑将分配中的抢占独立出来，提升集群的资源分配效率，提高了系统的工作效率。

Resource scheduling methods and devices, electronic equipment, storage media

【技术实现步骤摘要】
资源调度方法及装置、电子设备、存储介质
本专利技术涉及大数据
，具体而言，涉及一种基于Hadoop集群的资源调度方法、资源调度装置、电子设备以及计算机可读存储介质。
技术介绍
随着互联网技术的发展，大数据(BigData)
也得到了迅速发展。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。现有的技术方案中，分布式大数据的资源管理与作业调度是通过调度器在每次计算节点心跳过来时检查是否需要资源抢占，如果确定没有达到配置的资源分配最大值则进行分配处理。在该方案中，当某个队列消耗资源比较严重时会导致别的队列无法享受到冗余资源，而且在集群资源紧张时，进行了没有必要的抢占与释放，降低了Hadoop集群的工作效率。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术实施例的目的在于提供一种基于Hadoop集群的资源调度方法、资源调度装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于现有分布式大数据的资源管理与作业调度的资源抢占方案使调度器进行了没有必要的抢占与释放，降低Hadoop集群的工作效率的问题。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术实施例的第一方面，提供了一种基于Hadoop集群的资源调度方法，包括：接收抢占资源线程的抢占资源请求；响应于所述抢占资源请求，获取需要计算资源的目标作业；根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。在本专利技术的一种示例实施例中，基于前述方案，接收抢占资源线程的抢占资源请求，包括：接收目标作业，并将所述目标作业发送到对应的资源请求线程；基于所述资源请求线程，判断所述目标作业对应的资源池是否有剩余计算资源；当确定所述资源池没有所述剩余计算资源时，接收所述抢占资源线程的抢占资源请求。在本专利技术的一种示例实施例中，基于前述方案，判断所述目标作业对应的资源池是否有剩余计算资源，包括：获取计算节点的节点心跳，将所述节点心跳发送到资源请求线程；根据所述节点心跳判断所述目标作业对应的资源池是否有剩余计算资源。在本专利技术的一种示例实施例中，基于前述方案，所述当确定所述资源池没有所述剩余计算资源时，还包括：当确定所述资源池有所述剩余计算资源时，将计算资源直接分配给对应的内存结构，并且等待所述资源请求线程获取下一次的心跳获取。在本专利技术的一种示例实施例中，基于前述方案，所述将所述计算资源超额分配给所述目标作业，包括：判断单个队列是否有需要资源的作业；当确定单个队列有需要资源的作业时，根据所述目标作业已经使用的计算资源量计算得到整体集群中可以抢占的计算资源量；基于所述可以抢占的计算资源量，将所述计算资源超额分配给所述目标作业。在本专利技术的一种示例实施例中，基于前述方案，基于所述抢占资源线程，判断整体集群是否有队列超额使用计算资源并且是否需要释放所述计算资源；当确定整体集群有队列超额使用计算资源并且需要释放所述计算资源时，获取所有超额使用计算资源的队列；根据预设释放比例分批次释放所述超额使用计算资源的队列的计算资源。在本专利技术的一种示例实施例中，基于前述方案，根据预设释放比例分批次释放所述超额使用计算资源的队列的计算资源，包括：获取所有超额使用计算资源的队列，并按照所述队列的超额计算资源量对所述队列进行倒序排列以生成队列列表；根据预设释放比例分批次释放所述队列列表中每个队列对应的计算资源。根据本专利技术实施例的第二方面，提供了一种资源调度装置，包括：接收单元，用于接收抢占资源线程的抢占资源请求；获取单元，用于响应于所述抢占资源请求，获取需要计算资源的目标作业；判断单元，用于根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；超额分配单元，用于当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。根据本专利技术实施例的第三方面，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的资源调度方法。根据本专利技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的资源调度方法。本专利技术实施例提供的技术方案可以包括以下有益效果：在本专利技术的一些实施例所提供的技术方案中，通过Hadoop集群的抢占资源线程的抢占资源请求，获取需要计算资源的目标作业，当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。一方面，通过抢占资源线程负责检测队列或资源池判断目标作业是否需要超额分配资源和超额释放资源，能够动态的调整目标作业使用剩余的计算资源，提升计算资源的利用效率；另一方面，通过抢占资源线程对目标作业进行独立的计算资源的分配及释放，避免没必要的计算资源的抢占与释放，提升了计算资源的分配回收效率，提高了Hadoop集群的工作效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示意性示出了根据本专利技术的一些实施例的资源调度方法流程的示意图；图2示意性示出了根据本专利技术的一些实施例的超额分配流程应用实例的示意图；图3示意性示出了根据本专利技术的一些实施例的超额释放流程应用实例的示意图；图4示意性示出了根据本专利技术的一些实施例的资源调度执行流程的示意图；图5示意性示出了根据本专利技术的一些实施例的资源调度装置的示意图；图6示意性示出了根据本专利技术的一些实施例的电子设备的计算机系统结构的示意图；图7示意性示出了根据本专利技术的一些实施例的计算机可读存储介质的示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技本文档来自技高网...

【技术保护点】
1.一种基于Hadoop集群的资源调度方法，其特征在于，包括：/n接收抢占资源线程的抢占资源请求；/n响应于所述抢占资源请求，获取需要计算资源的目标作业；/n根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；/n当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。/n

【技术特征摘要】
1.一种基于Hadoop集群的资源调度方法，其特征在于，包括：
接收抢占资源线程的抢占资源请求；
响应于所述抢占资源请求，获取需要计算资源的目标作业；
根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；
当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。


2.根据权利要求1所述的资源调度方法，其特征在于，接收抢占资源线程的抢占资源请求，包括：
接收目标作业，并将所述目标作业发送到对应的资源请求线程；
基于所述资源请求线程，判断所述目标作业对应的资源池是否有剩余计算资源；
当确定所述资源池没有所述剩余计算资源时，接收所述抢占资源线程的抢占资源请求。


3.根据权利要求2所述的资源调度方法，其特征在于，判断所述目标作业对应的资源池是否有剩余计算资源，包括：
获取计算节点的节点心跳，将所述节点心跳发送到资源请求线程；
根据所述节点心跳判断所述目标作业对应的资源池是否有剩余计算资源。


4.根据权利要求3所述的资源调度方法，其特征在于，所述当确定所述资源池没有所述剩余计算资源时，还包括：
当确定所述资源池有所述剩余计算资源时，将计算资源直接分配给对应的内存结构，并且等待所述资源请求线程获取下一次的心跳获取。


5.根据权利要求2所述的资源调度方法，其特征在于，所述将所述计算资源超额分配给所述目标作业，包括：
判断单个队列是否有需要资源的作业；
当确定单个队列有需要资源的作业时，根据所述目标作业已经使用的计算资源量计算得到整体集群中可以抢占的计算资源量；
基于所述可以抢占的计算资源...

【专利技术属性】
技术研发人员：吴怡燃，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11