一种资源调度方法、系统及主节点技术方案

本发明专利技术实施例公开了一种资源调度方法、系统及主节点。所述方法包括：主节点获得所有从节点的剩余资源量，基于所述剩余资源量将对应的从节点信息划分至对应的资源子集中；其中，预设的资源集合包括多个资源子集，所述资源子集对应预设资源量范围；相邻两个资源子集的资源量范围连续分布；接收第一计算框架(Framework)的资源需求信息，基于所述资源需求信息在所述资源集合中获得满足所述资源需求信息的第K资源子集；K为正整数；确定所述第K资源子集中包含从节点信息时，所述第K资源子集的资源调度器从所述第K资源子集中选择满足预设条件的第一从节点信息；获得所述第一从节点信息，基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework。

Resource scheduling method, system and main node

The embodiment of the invention discloses a resource scheduling method, a system and a main node. The method includes: the master node to obtain all the surplus from the amount of resource nodes, the residual amount of resources based on the corresponding node information from the resource division to the corresponding concentration; among them, the default resource set includes a plurality of resources, the resources corresponding to a preset amount of resources; resources of two adjacent range the continuous distribution of resources; receiving a first computing framework (Framework) resource demand information, the demand of information resources in the resource collection for a subset of the K resources to meet the demand of information resources based on K; positive integer; determining the K resources included from node information, resources the scheduler K resources from the K resources choosing to focus on satisfying the preset conditions from the first node information; get the first node from the information, based on the first day from The point information assigns the resources of the first slave node to the first Framework.

【技术实现步骤摘要】
一种资源调度方法、系统及主节点
本专利技术涉及调度技术，具体设计一种资源调度方法、系统及主节点。
技术介绍
Mesos是Apache下的开源分布式资源管理框架，能够实现多种计算框架的统一集群管理和调度。其目标是整合数据中心资源，进行虚拟池化，对应用开放诸如中央处理器(CPU)、内存和输入/输出(I/O)这些基本资源，类似操作系统将处理器资源和存储器资源放入资源池，使其可以为不同的进程协调分配和释放资源。Mesos采用了Master/Slave结构，图1为现有技术中Mesos架构示意图；如图1所示，Mesos架构包括主节点(MesosMaster)、从节点(MesosSlave)、计算框架(Framework)和执行器(Executor)。其中，主节点协调全部的从节点，并确定每个从节点的可用资源，聚合计算跨节点的所有可用资源的报告，然后向注册到主节点的计算框架(Framework)发出资源邀约。计算框架(Framework)指外部计算框架，如图1中所示的Hadoop、MPI等。计算框架(Framework)根据任务需求，选择接受或拒绝来自主节点的资源邀约；如果计算框架(Framework)接受邀约，主节点负责协调计算框架(Framework)和从节点进行任务调度。目前，Mesos中的使用的调度机制被称为“ResourceOffer”，采用了基于资源量的调度机制，在Mesos架构中，从节点直接将资源量(如CPU和内存)上报给主节点，由主节点采用DRF(DominantResourceFairness)等机制将资源量分配给Framework，使资源分配相对公平，不偏向于任何用户，保证每个用户(Framework)获取了相同比例的支配性资源，例如：FrameworkA获取了2/3的内存资源，FrameworkB获取了2/3的CPU资源，则资源调度处理流程如下：1、Slave1向Master上报4CPU和8GB内存的空闲资源，Master调用分配模块，通知FrameworkA所有可用的空闲资源；2、Master发送当前空闲资源的描述信息(ResourceOffer)给FrameworkA；3、FrameworkA的调度器回复Master，运行两个任务(task)在Slave1上，第一个任务使用了2CPU、1GB内存，第二个任务使用了2CPU、2GB内存；4、Master把任务描述信息发送给Slave1，Slave1分配适当的资源给Framework的执行器，然后由Framework的执行器加载这两个任务。执行任务之后，Slave1剩余资源为0CPU和5GB内存。Mesos架构的资源调度主要从满足Framework需求的角度进行资源分配，一方面，可能导致某些Slave节点在运行指定任务后，存在剩余资源，但是该剩余资源又不足以分配给其它任务；另一方面由于Framework自身设置的过滤条件，如允许Framework只接收“剩余资源量大于L的Slave”，通过这一过滤条件分配给该Framework的Slave上存在剩余资源，该剩余资源又不足以分配给其他任务运行，这样便产生了大量的资源碎片。另外，Mesos架构主要依赖于主节点向Framework推送可用资源，再进行资源协商，协商过程需要一定时间，实时性较差。
技术实现思路
为解决现有存在的技术问题，本专利技术实施例提供一种资源调度方法、系统及主节点，能够减少资源碎片的产生，提高资源利用率。为达到上述目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种资源调度方法，所述方法包括：主节点获得所有从节点的剩余资源量，基于所述剩余资源量将对应的从节点信息划分至对应的资源子集中；其中，预设的资源集合包括多个资源子集，所述资源子集对应预设资源量范围；相邻两个资源子集的资源量范围连续分布；所述主节点接收第一计算框架(Framework)的资源需求信息，基于所述资源需求信息在所述资源集合中获得满足所述资源需求信息的第K资源子集；K为正整数；确定所述第K资源子集中包含从节点信息时，所述第K资源子集的资源调度器从所述第K资源子集中选择满足预设条件的第一从节点信息；所述主节点获得所述第一从节点信息，基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework。上述方案中，所述资源集合中的多个资源子集按资源量范围由小到大排序；则所述第K资源子集不包含从节点信息时，所述方法包括：所述主节点从所述资源集合的第K+1资源子集开始至第N资源子集为止进行查找匹配，获得包含从节点信息的第L资源子集；其中，N和L均为正整数，且L大于K+1且小于等于N；所述第L资源子集的资源调度器从所述第L资源子集中选择满足预设条件的第二从节点信息；所述主节点获得所述第二从节点信息，基于所述第二从节点信息将所述第二从节点的资源分配给所述第一Framework。上述方案中，从第K+1资源子集开始至第N资源子集为止进行查找匹配，所有资源子集中均不包含从节点信息时，所述方法还包括：所述主节点从所述资源集合的第M资源子集开始进行查找匹配，获得包含从节点信息的第P资源子集；其中，所述第M资源子集在所述资源集合中的资源量范围最大；P为正整数，且P小于等于M；所述第P资源子集的资源调度器从所述第P资源子集中选择满足预设条件的第三从节点信息；所述主节点获得所述第三从节点信息，基于所述第三从节点信息将所述第三从节点的资源分配给所述第一Framework。上述方案中，所述满足预设条件，包括：资源子集中从节点的剩余资源量与所述资源需求信息相差最小的从节点确认为满足预设条件。上述方案中，所述基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework，包括：所述主节点将所述第一从节点的剩余资源量生成空闲资源信息发送至所述第一Framework，以使所述第一Framework基于所述剩余资源量在所述第一从节点运行任务。本专利技术实施例还提供了一种主节点，所述主节点包括：通讯单元和资源管理单元；其中，所述通讯单元，用于获得所有从节点的剩余资源量，将所述剩余资源量发送至所述资源管理单元；还用于接收第一计算框架Framework的资源需求信息，讲所述资源需求信息发送至所述资源管理单元；还用于从所述第K资源子集的资源调度器获得所述第一从节点信息，基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework；所述资源管理单元，用于基于所述剩余资源量将对应的从节点信息划分至对应的资源子集中；其中，预设的资源集合包括多个资源子集，所述资源子集对应预设资源量范围；相邻两个资源子集的资源量范围连续分布；还用于基于所述资源需求信息在所述资源集合中获得满足所述资源需求信息的第K资源子集；K为正整数；确定所述第K资源子集中包含从节点信息时，使能所述第K资源子集的资源调度器。上述方案中，所述资源集合中的多个资源子集按资源量范围由小到大排序；所述资源管理单元，还用于确定所述第K资源子集不包含从节点信息时，从所述资源集合的第K+1资源子集开始至第N资源子集为止进行查找匹配，获得包含从节点信息的第L资源子集；其中，N和L均为正整数，且L大于K+1且小于等于N；使能所述第L资源子集的资源调度器；所述通讯单元，本文档来自技高网...

【技术保护点】
一种资源调度方法，其特征在于，所述方法包括：主节点获得所有从节点的剩余资源量，基于所述剩余资源量将对应的从节点信息划分至对应的资源子集中；其中，预设的资源集合包括多个资源子集，所述资源子集对应预设资源量范围；相邻两个资源子集的资源量范围连续分布；所述主节点接收第一计算框架Framework的资源需求信息，基于所述资源需求信息在所述资源集合中获得满足所述资源需求信息的第K资源子集；K为正整数；确定所述第K资源子集中包含从节点信息时，所述第K资源子集的资源调度器从所述第K资源子集中选择满足预设条件的第一从节点信息；所述主节点获得所述第一从节点信息，基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework。

【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：主节点获得所有从节点的剩余资源量，基于所述剩余资源量将对应的从节点信息划分至对应的资源子集中；其中，预设的资源集合包括多个资源子集，所述资源子集对应预设资源量范围；相邻两个资源子集的资源量范围连续分布；所述主节点接收第一计算框架Framework的资源需求信息，基于所述资源需求信息在所述资源集合中获得满足所述资源需求信息的第K资源子集；K为正整数；确定所述第K资源子集中包含从节点信息时，所述第K资源子集的资源调度器从所述第K资源子集中选择满足预设条件的第一从节点信息；所述主节点获得所述第一从节点信息，基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework。2.根据权利要求1所述的方法，其特征在于，所述资源集合中的多个资源子集按资源量范围由小到大排序；则所述第K资源子集不包含从节点信息时，所述方法包括：所述主节点从所述资源集合的第K+1资源子集开始至第N资源子集为止进行查找匹配，获得包含从节点信息的第L资源子集；其中，N和L均为正整数，且L大于K+1且小于等于N；所述第L资源子集的资源调度器从所述第L资源子集中选择满足预设条件的第二从节点信息；所述主节点获得所述第二从节点信息，基于所述第二从节点信息将所述第二从节点的资源分配给所述第一Framework。3.根据权利要求2所述的方法，其特征在于，从第K+1资源子集开始至第N资源子集为止进行查找匹配，所有资源子集中均不包含从节点信息时，所述方法还包括：所述主节点从所述资源集合的第M资源子集开始进行查找匹配，获得包含从节点信息的第P资源子集；其中，所述第M资源子集在所述资源集合中的资源量范围最大；P为正整数，且P小于等于M；所述第P资源子集的资源调度器从所述第P资源子集中选择满足预设条件的第三从节点信息；所述主节点获得所述第三从节点信息，基于所述第三从节点信息将所述第三从节点的资源分配给所述第一Framework。4.根据权利要求1至3任一项所述的方法，其特征在于，所述满足预设条件，包括：资源子集中从节点的剩余资源量与所述资源需求信息相差最小的从节点确认为满足预设条件。5.根据权利要求1所述的方法，其特征在于，所述基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework，包括：所述主节点将所述第一从节点的剩余资源量生成空闲资源信息发送至所述第一Framework，以使所述第一Framework基于所述剩余资源量在所述第一从节点运行任务。6.一种主节点，其特征在于，所述主节点包括：通讯单元和资源管理单元；其中，所述通讯单元，用于获得所有从节点的剩余资源量，将所述剩余资源量发送至所述资源管理单元；还用于接收第一计算框架Framework的资源需求信息，讲所述资源需求信息发送至所述资源管理单元；还用于从所述第K资源子集的资源调度器获得所述第一从节点信息，基于所述第一从节点信息将所述第一从节点的资源分配给所述第一Framework；所述资源管理单元，用于基于所述剩余资源量将对应的从节点信息划分至对应的资源子集中；其中，预设的资源集合包括多个资源子集，所述资源子集对应预设资源量范围；相邻两个资源子集的资源量范围连续分布；还用于基于所述资源需求信息在所述资源集合中获得满足所述资源需求信息的第K资源子集；K为正整数；确定所述第K资源子集中包含从节点信息时，使能所述第K资源子集的资源调度器。7.根据权利要求6所述的主节点，其特征在于，所述资源集合中的多个资源子集按资源量范围由小到大排序；所述资源管理单元，还用于确定所述第K资源子集不包含从节点信息时，从所述资源集合的第K+1资源子集开始至第N资源子集为止进行查找匹配，获得包含从节点信息的第L资源子集；其中，N和L均为正整数，且L大于K+1且小于等于N；使能所述第L资源...

【专利技术属性】
技术研发人员：马轶慧，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：北京,11