一种集群计算资源的分区调度管理方法技术

本发明专利技术涉及一种集群计算资源的分区调度管理方法，包括下述步骤：（1）作业被提交到调度资源管理系统；（2）指定运行的作业队列；（3）判断作业队列所对应分区的空闲程度及优先顺序，并选择至少一个的分区；（4）确定作业运行所需的至少一个计算节点；（5）将作业调度到选定的计算节点上。本发明专利技术提供的集群计算资源的分区调度管理方法，解决了Torque资源管理器中节点资源配置方式单一，不适用于大规模集群及复杂节点资源配置需求的问题。同时本发明专利技术在较大的集群规模、复杂配置情况下也同样可以做到配置方便、动态设置的要求，并且保证了对计算节点资源的合理利用。

【技术实现步骤摘要】
本专利技术涉及一种高性能计算集群的调度管理方法，具体涉及一种集群计算资源的分区调度管理方法。
技术介绍
随着高性能计算集群在各高新领域的广泛应用，集群上的应用呈现出处理过程复杂、应用种类多样的态势，不同类型的应用，或同一应用使用不同的运行方式都可能对计算资源有着不同的要求，因此如何通过作业调度系统，对计算资源进行合理分配，使作业能够被调度到对应的分区上，并做到对分区以及分区与队列关系的动态调整变成为了具有重要应用价值的问题。Torque 5. O中提供的针对队列的资源配置方法中，通过将单个计算节点与作业队列进行关联，来为队列中的作业分配可使用的计算资源。节点与队列的关联的具体方式为，·修改关联队列的acl_h0sts属性值为对应的节点名称。修改后，提交到该队列中的作业将会使用并且只能使用acl_h0sts属性中所指定的节点资源。现有技术存在以下问题Torque中所提供的这种节点资源配置方式基本可以解决不同类型作业对于计算资源的不同需求的问题。但是由于配置方式单一，导致易用性较差，尤其在集群规模较大、节点或队列数目较多、资源配置策略复杂等情况下，使用该方法实现队列与资源对应配置的工作量将变的很大，甚至不具有可实施性。
技术实现思路
针对现有技术的不足，本专利技术提供一种集群计算资源的分区调度管理方法，该方法使用队列分区配置工具“Qpar”和分区节点配置工具“Pnode”，使资源配置过程在较大的集群规模、复杂配置情况下同样可以做到配置方便、动态设置的要求，并且保证了对计算节点资源的合理利用，具有很强的可实施性。本专利技术的目的是采用下述技术方案实现的—种集群计算资源的分区调度管理方法，其改进之处在于，所述方法包括下述步骤( I)作业被提交到调度资源管理系统；(2)指定运行的作业队列；(3)判断作业队列所对应分区的空闲程度及优先顺序(空闲程度当前，分区内计算资源的利用率。优先顺序每个分区内对多个作业队列设置不同的优先级)，并选择至少一个的分区；(4)确定作业运行所需的至少一个计算节点；(5)将作业调度到选定的计算节点上。其中，所述步骤(I)中，作业被提交到调度资源管理系统Torque资源管理器中。其中，所述步骤(2)中，通过Torque资源管理器指定运行的作业队列。其中，所述步骤(3)中，根据队列分区配置工具Qpar的配置调度系统判断作业队列所对应分区的空闲程度及优先顺序，并选择至少一个的分区。其中，所述队列分区配置工具Qpar是指用于配置、查看队列与队列分区表之间的对应关系；所述队列分区表中记录了队列与分区之间的对应信息。其中，所述队列分区配置工具Qpar包括以下命令A、显示所有队列及各队列对应的分区；B、显示指定队列的分区；C、添加新的队列，添加的队列为默认设置；D、为指定队列添加分区； E、所述指定队列使用调度资源管理系统中的所有分区；F、删除指定队列；G、从队列中删除指定分区；H、使队列分区配置生效命令。其中，所述步骤(4)中，根据分区节点配置工具Pnode确定作业运行所需的至少一个计算节点。其中，所述分区节点配置工具Pnode是指用于配置、查看分区与分区节点表之间的对应关系；所述分区节点表记录了分区与节点之间的对应信息。其中，所述分区节点配置工具Pnode包括下述命令I、显示所有分区及各分区对应计算节点；II、显示指定分区的对应节点；III、添加新的分区，添加的分区为空分区；IV、为指定分区添加计算节点；V、指定分区使用调度资源管理系统中的所有计算节点；VI、删除指定分区；VII、从分区中删除指定计算节点；VIII、使分区节点配置生效。其中，所述步骤(5)中，Maui作业调度器将作业调度到选定的计算节点上。其中，一个队列中包含至少一个分区；同一个分区或同时属于至少一个队列所有；一个分区中包含至少一个计算节点；同一个计算节点或属于至少一个分区；同一分区中所包含的计算节点不可重复。与现有技术比，本专利技术达到的有益效果是本专利技术提供的集群计算资源的分区调度管理方法，解决了 Torque资源管理器中节点资源配置方式单一，不适用于大规模集群及复杂节点资源配置需求的问题。同时本专利技术中所提供的队列分区配置工具“Qpar”、分区节点配置工具“Pnode”使资源配置过程在较大的集群规模、复杂配置情况下也同样可以做到配置方便、动态设置的要求，并且保证了对计算节点资源的合理利用。附图说明图I是本专利技术提供的队列、分区和计算节点资源配置图2是本专利技术提供的集群计算资源的分区调度管理方法的流程图。具体实施例方式下面结合附图对本专利技术的具体实施方式作进一步的详细说明。 高性能计算集群(HPCC,High Performance Computing Cluster):计算机科学的一个分支，以解决复杂的科学计算或数值计算问题为目的，是由多台节点机(服务器)构成的一种松散耦合的计算节点集合。Torque是指一种开源的集群作业调度资源管理系统；Maui是指种开源的作业调度器。为解决Torque中节点资源配置方式单一，不适用于大规模集群及复杂节点资源配置的问题，本专利技术在Torque和Maui的基础上引入了分区的概念，同时提供了 “队列分区配置工具Qpar”、“分区节点配置工具Pnode”两种配置工具。分区是对集群中节点资源进行统一划分管理的单位。分区概念的引入，解除了队列与计算节点之间的直接关联关系，建立了队列与分区、分区与节点两层关联关系。本专利技术提供的队列、分区和计算节点资源配置如图I所示，一个队列中包含I个或多个分区；同一个分区也可以同时属于多个队列所有。a、本专利技术中提供了队列分区配置工具“Qpar”，用于配置、查看队列与分区表之间的对应关系。该工具维护一份“队列分区表”文件，“队列分区表”文件中记录了所有队列与分区之间的对应信息。Qpar队列分区配置工具使用说明如表I所示表I QPar队列分区配置工具使用说明 qparM...................................................................................I蘇丽瓦丽不灰丽丽丽..................................................................................| qpar屋至.................................................................I显示指是阮莉·芬医.............................................................................................................................................................| ' addqpar仄列S '添(该方式添如,仄·另欽认设置)丨 addqpar队列名分区名为指定队列添加分区 ] addqpar队列名all 指定队列将可以使坩调度系统中的所有分区 ] delqpar队列名丨删除指定队列丨 delqpar队列名分区名从队列中删除指定分区丨 Iqflush_I使r队列分本文档来自技高网...

【技术保护点】
一种集群计算资源的分区调度管理方法，其特征在于，所述方法包括下述步骤：（1）作业被提交到调度资源管理系统；（2）指定运行的作业队列；（3）判断作业队列所对应分区的空闲程度及优先顺序，并选择至少一个的分区；（4）确定作业运行所需的至少一个计算节点；（5）将作业调度到选定的计算节点上。

【技术特征摘要】
1.一种集群计算资源的分区调度管理方法，其特征在于，所述方法包括下述步骤 (1)作业被提交到调度资源管理系统； (2)指定运行的作业队列； (3)判断作业队列所对应分区的空闲程度及优先顺序，并选择至少一个的分区； (4)确定作业运行所需的至少一个计算节点； (5)将作业调度到选定的计算节点上。2.如权利要求I所述的集群计算资源的分区调度管理方法，其特征在于，所述步骤(I)中，作业被提交到调度资源管理系统Torque资源管理器中。3.如权利要求I所述的集群计算资源的分区调度管理方法，其特征在于，所述步骤(2)中，通过Torque资源管理器指定运行的作业队列。4.如权利要求I所述的集群计算资源的分区调度管理方法，其特征在于，所述步骤(3)中，根据队列分区配置工具Qpar的配置调度系统判断作业队列所对应分区的空闲程度及优先顺序，并选择至少一个的分区。5.如权利要求4所述的集群计算资源的分区调度管理方法，其特征在于，所述队列分区配置工具Qpar是指用于配置、查看队列与队列分区表之间的对应关系；所述队列分区表中记录了队列与分区之间的对应信息。6.如权利要求5所述的集群计算资源的分区调度管理方法，其特征在于，所述队列分区配置工具Qpar包括以下命令 A、显示所有队列及各队列对应的分区； B、显示指定队列的分区； C、添加新的队列，添加的队列为默认设置； D、为指定队列添加分区； E、所述指定队列使用调度...

【专利技术属性】
技术研发人员：张磊，张涛，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：