一种资源调度方法及装置制造方法及图纸

本发明专利技术实施例公开了一种资源调度方法及装置；其中，所述资源调度方法包括：预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息；基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。

【技术实现步骤摘要】

本专利技术涉及通信控制技术，具体涉及一种资源调度方法及装置。
技术介绍
Hadoop技术是目前在大数据平台中应用率最高的技术。而目前，Hadoop技术采用基于优先级和时间的策略对资源进行调度；具体的，所有应用都提交到默认队列中，在该默认队列中，所有应用先按照优先级进行排队，相同优先级的按时间先后顺序进行排队，即优先级高且排队时间在先的应用优先分配资源。但随着Hadoop技术的普及，单个Hadoop集群中的用户量和应用程序种类不断增加，采用上述的资源调度机制已不能很好的利用集群的资源，也不能够满足不同应用的服务质量要求，尤其在特定高优先级应用需要独占资源的场景下，上述资源调度机制已不能满足该特定场景的需求，因此亟待提出一种新的资源调度方案。
技术实现思路
为解决现有存在的技术问题，本专利技术实施例提供一种资源调度方法及装置，能够实现特定业务场景下的资源独占。为达到上述目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种资源调度方法，所述方法包括：预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息；基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。上述方案中，所述基于所述队列的专属服务器信息以及所述队列的优先级信息对所有队列中的作业进行资源调度，包括：按所述队列的优先级由高到低为所述队列分配所述队列对应的专属服务器的资源。上述方案中，所述方法还包括：当所述队列的优先级相同时，按先入先出规则为所述队列分配所述队列对应的专属服务器的资源。上述方案中，当所述队列属性信息中不包括所述队列的专属服务器信息，或者所述队列的专属服务器信息配置为空时，所述方法还包括：按所述队列的优先级由高到低为所述队列分配所有服务器的资源。上述方案中，所述方法还包括：当所述队列的优先级相同时，按先入先出规则为所述队列分配所有服务器的资源。本专利技术实施例还提供了一种资源调度装置，所述装置包括：配置单元和调度单元；其中，所述配置单元，用于预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息；所述调度单元，用于基于所述配置单元配置的所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。上述方案中，所述调度单元，用于按所述队列的优先级由高到低为所述队列分配所述队列对应的专属服务器的资源。上述方案中，所述调度单元，还用于当所述队列的优先级相同时，按先入先出规则为所述队列分配所述队列对应的专属服务器的资源。上述方案中，所述调度单元，还用于当所述配置单元配置的所述队列属性信息中不包括所述队列的专属服务器信息，或者所述队列的专属服务器信息配置为空时，按所述队列的优先级由高到低为所述队列分配所有服务器的资源。上述方案中，所述调度单元，还用于当所述队列的优先级相同时，按先入先出规则为所述队列分配所有服务器的资源。本专利技术实施例提供的资源调度方法及装置，通过预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息；基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。如此，实现了特定业务场景下的资源独占，避免了安全性和稳定性要求较高的特殊业务之间相互抢占资源所带来的不利影响。附图说明图1为本专利技术实施例一的资源调度方法的流程示意图；图2为本专利技术实施例一的资源调度装置的组成结构示意图；图3为本专利技术实施例二的资源调度方法的流程示意图；图4为本专利技术实施例二中资源调度器对队列进行的遍历的示意图；图5为本专利技术实施例二中资源调度器对队列进行资源调度的示意图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步详细的说明。本专利技术实施例提供了一种资源调度方法；图1为本专利技术实施例一的资源调度方法的流程示意图；如图1所示，所述方法包括：步骤101：预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息。本实施例中，所述资源调度方法在实际应用中，可通过分布式系统中的主节点中的调度器实现。所述调度器在资源调度之前加载队列配置文件，所述队列配置文件中新增队列属性信息，所述队列属性信息可预先由用户配置。其中，所述队列属性信息包括队列的专属服务器信息，所述队列的专属服务器信息具体可以如下所示：yarn.queueA1.hosts＝C1,C3；其中，C1和C3表示为队列配置的专属服务器标识，所述专属服务器标识可以是所述专属服务器的主机名或者主机的互联网协议(IP，InternetProtocol)地址；当所述队列的专属服务器信息中设置的专属服务器为两个或两个以上时，两个专属服务器标识之间用逗号分隔。若所述队列属性信息中无所述队列的专属服务器信息、或所述队列的专属服务器信息设置为空时，表明所述队列无配置的专属服务器，所有的服务器均可分配至所述队列进行作业处理。其中，所述队列属性信息还包括队列的优先级信息，所述队列的优先级信息用于配置队列优先级；例如队列优先级分为5级；其中，队列优先级1级为最高级；当没有配置队列的优先级信息时，默认所述队列的优先级为最低级，即默认所述队列的优先级为5级。步骤102：基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。这里，所述基于所述队列的专属服务器信息以及所述队列的优先级信息对所有队列中的作业进行资源调度，包括：按所述队列的优先级由高到低为所述队列分配所述队列对应的专属服务器的资源。具体的，以队列的优先级为5级为例，当队列A的优先级为3、队列B的优先级为5时，且所述队列A和所述队列B的队列属性信息中配置的专属服务器均为服务器C，则所述服务器C的资源优先为所述队列A的作业分配，再为所述队列B中的作业分配。进一步地，当所述队列的优先级相同时，按先入先出(FIFO，FirstInputFirstOutput)规则为所述队列分配所述队列对应的专属服务器的资源。具体的，以队列的优先级为5级为例，当队列A的优先级为3、队列B的优先级为3时，且所述队列A和所述队列B的队列属性信息中配置的专属服务器均为服务器C，则根据所述队列A和所述队列B中的作业的时间先后顺序，所述服务器C的资源优先为所述队列A和所述队列B中时间在先的作业分配资源。采用本专利技术实施例的技术方案，实现了特定业务场景下的资源独占，避免...

【技术保护点】
一种资源调度方法，其特征在于，所述方法包括：预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息；基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。

【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：
预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，
以及所述队列的优先级信息；
基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调
度。
2.根据权利要求1所述的方法，其特征在于，所述基于所述队列的专属服
务器信息以及所述队列的优先级信息对所有队列中的作业进行资源调度，包括：
按所述队列的优先级由高到低为所述队列分配所述队列对应的专属服务器
的资源。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：当所述队
列的优先级相同时，按先入先出规则为所述队列分配所述队列对应的专属服务
器的资源。
4.根据权利要求1所述的方法，其特征在于，当所述队列属性信息中不包
括所述队列的专属服务器信息，或者所述队列的专属服务器信息配置为空时，
所述方法还包括：
按所述队列的优先级由高到低为所述队列分配所有服务器的资源。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：当所述队
列的优先级相同时，按先入先出规则为所述队列分配所有服务器的资源。
6.一种资源调度装置...

【专利技术属性】
技术研发人员：陈福忠，梁平，刘新强，汪邵飞，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44