一种机群作业管理系统中分配计算结点的方法技术方案

本发明专利技术公开了一种机群作业管理系统中分配计算结点的方法，包括以下步骤：确定机群系统的负载平衡指标；根据用户作业确定各负载平衡指标的权值；计算各计算结点的负载平衡指数；根据各计算结点的负载平衡指数选择执行用户作业的计算结点。应用本发明专利技术提供的这种方法所分配的计算结点与用户作业对计算结点资源的需求非常吻合，更加合理地为用户作业分配了计算结点，极大地提高了用户作业的计算效率，同时使得计算结点之间的负载更加平衡，显著地提高了机群系统的资源利用率和吞吐率。

【技术实现步骤摘要】

本专利技术涉及机群作业管理系统技术，特别是。
技术介绍
机群作业管理系统用于统一管理和调度机群系统中的作业与资源。机群作业管理系统的核心内容是作业调度，而作业调度通常包含对用户作业的选取方法和对计算结点的分配方法。对用户作业的选取主要有先进先出(FIFO)、第一适合(FirstFit)、最适合(BestFit)、预约(Reservation)和填充(Backfill)相结合等多种方法，而目前计算结点的分配方法却相对比较单一。在机群作业管理系统中，目前常用的分配计算结点的方法为首先确定各个计算结点在过去预定时间内的平均进程数，然后再结合用户作业所指定的计算结点的数目具体分配计算结点。图1所示为现有技术的分配计算结点方法的流程图。如图1所示，包括以下步骤步骤101确定各计算结点在过去预定时间内的平均进程数；步骤102按照用户作业中所指定的计算结点数目，依次选取平均进程数较少的计算结点。在实际应用过程中，用户作业对CPU、内存、页交换空间和磁盘等资源的需求是各不相同的。例如某些用户作业在运行时可能需要占用大量的CPU时间，而另一些用户作业在运行时却可能需要占用较大的内存空间和交换区空间。同时，对于需要大量占用CPU时间的用户作业，分配计算结点时还应该考虑CPU的稳定性，因此机群作业管理系统需要根据用户作业的实际需求而给用户作业分配计算结点。现有技术的计算结点分配方法在分配计算结点时仅仅考虑了计算结点在过去某段时间内的平均进程数目，没有根据用户作业运行的具体需要灵活综合考虑计算结点的内存、页交换空间、软件授权数和磁盘等资源的使用情况，同时也没有考虑计算结点的CPU的稳定性，因此根据现有技术所分配的计算结点不能有效地与用户作业的资源需求相吻合，从而降低了用户作业的计算效率。同时，现有技术中没有根据用户作业的实际需要而合理地分配计算结点，造成各个计算结点之间的负载不平衡，从而降低了机群系统的资源利用率和吞吐率。
技术实现思路
有鉴于此，本专利技术的主要目的是提出，以提高用户作业的计算效率。为达到上述目的，本专利技术的技术方案是这样的，包括以下步骤A、确定计算结点的负载平衡指标；B、根据用户作业确定所述的每一个负载平衡指标的权值；C、根据计算结点的所述负载平衡指标的数值和步骤B所述的各负载平衡指标的权值计算可分配的计算结点的负载平衡指数；D、根据步骤C所述的负载平衡指数选择执行用户作业的计算结点。步骤A所述的负载平衡指标为CPU利用率、内存使用率、磁盘使用率、软件授权数、页交换频率、计算结点在过去预定时间内的平均进程数中一项或者任意组合。步骤C所述的计算可分配的计算结点的负载平衡指数的方法为计算可分配的计算结点的每一负载平衡指标的数值与该负载平衡指标的权重的乘积，然后将所述的乘积求和。步骤A所述的负载平衡指标至少包括计算结点在过去预定时间内的平均进程数，在步骤A与C之间进一步将所述的过去预定时间设置为多于1个时间段，并分别为每个时间段内的平均进程数设置权值，所述的过去预定时间内的平均进程数为每一个时间段的平均进程数数值与该时间段相应权重的乘积之和。步骤B所述的确定各负载平衡指标的权值的方法为按照用户作业对负载平衡指标的需求由高到低的顺序，为负载平衡指标设置由大到小的权值，步骤D所述的选择执行用户作业的计算结点的方法为按照负载平衡指数从小到大的顺序依次选择计算结点。按照用户作业对负载平衡指标的需求由高到低的顺序，为负载平衡指标设置由小到大的权值，步骤D所述的选择执行用户作业的计算结点的方法为按照负载平衡指数从小到大的顺序依次选择计算结点。进一步在步骤C前预先设定平均进程数最大阈值，并判断计算结点的平均进程数是否超过该预先设定的平均进程数最大阈值，如果超过则设置该计算结点为不可分配的计算结点，然后执行步骤C，如果不超过则直接执行步骤C。进一步在步骤C前预先设定平均进程数理想阈值，当计算结点的平均进程数从超过平均进程数最大阈值减少至低于或等于平均进程数最大阈值时，判断该计算结点的平均进程数是否低于所述的预先设定的平均进程数理想阈值，如果低于则直接执行步骤C，如果不低于则设置该计算结点为不可分配的结算结点，然后执行步骤C。从以上技术方案可以看出，本专利技术首先根据机群作业管理系统的资源情况确定负载平衡指标，然后根据用户作业的具体需求为这些负载平衡指标设置相应的权值，接着根据负载平衡指标和确定的负载平衡指标的权值计算出各个计算结点的负载平衡指数，最后根据计算结点的负载平衡指数和用户作业中所指定的计算结点数来确定执行用户作业的计算结点。所以本专利技术在为用户作业分配计算结点时，不但考虑了计算结点的在过去预定时间内的平均进程数，还综合考虑了内存、页交换空间、磁盘等资源的使用情况，因此本专利技术实现了根据计算结点上各项资源的使用状况和用户作业的具体需求来分配计算结点，所以应用本专利技术后所分配的计算结点与用户作业对资源的需求非常吻合，更加合理地为用户作业分配了计算结点，从而极大地提高了用户作业的计算效率。同时，本专利技术结合各个计算结点的资源利用情况和具体的用户作业需求分配计算结点，并且对于平均进程数大于平均进程数最大阈值的计算结点和平均进程数从平均进程数最大阈值下降但是仍然大于平均进程数理想阈值的计算结点都不再分配作业，使得计算结点之间的负载更加平衡，从而极大地提高了机群系统的资源利用率和吞吐率。附图说明图1为现有技术分配计算结点流程示意图。图2为本专利技术一实施例分配计算结点流程示意图。具体实施例方式为使本专利技术的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本专利技术再作进一步详细的说明。本专利技术的主要思想是根据计算结点的资源情况和用户作业的具体需求来分配计算结点。首先根据计算结点的资源情况确定各项负载平衡指标，然后根据用户作业的具体需求为这些负载平衡指标设置相应的权值，接着根据负载平衡指标和确定的负载平衡指标的权值计算出各个计算结点的负载平衡指数，最后根据负载平衡指数来选择执行用户作业的计算结点。图2为本专利技术一实施例的分配计算结点流程示意图。如图2所示，包括以下步骤步骤201确定机群系统的负载平衡指标。为了实现机群系统的计算结点的负载均衡，在选择计算结点时需要综合考虑机群系统的负载情况，可将影响机群系统负载的因素设置为相应的负载平衡指标。影响机群系统负载的因素有很多，例如CPU利用率、页交换频率、内存使用率、软件授权数和磁盘使用率等，同时还必须考虑CPU使用状况，而CPU的使用状况可以用过去预定时间内的平均进程数来体现，所以机群作业管理系统可将在过去预定时间内的平均进程数、CPU利用率、内存使用率、软件授权数、磁盘使用率和页交换频率等设置为负载平衡指标。步骤202根据用户作业的需要，设定各负载平衡指标的权值。不同的用户作业对计算结点各项资源的需求是不同的，因此可根据用户作业的实际需要而给每一个负载平衡指标设定相应的权值。例如当用户作业需要较大地占用某项资源时，可给与该项资源所对应的负载平衡指标设置较高的权值。当用户作业对某项资源的需求不高时，可给与该项资源对应的负载平衡指标设置较低的权值。例如，如果用户作业需要占用大量的内存，表示用户作业要求计算结点的内存使用率很低，则可给内存使用率这个负载平衡指标设置较高的权值；如果用户作业需要占本文档来自技高网...

【技术保护点】
一种机群作业管理系统中分配计算结点的方法，其特征在于，包括以下步骤：Ａ、确定计算结点的负载平衡指标；Ｂ、根据用户作业确定所述的每一个负载平衡指标的权值；Ｃ、根据计算结点的所述负载平衡指标的数值和步骤Ｂ所述的各负载平衡 指标的权值计算可分配的计算结点的负载平衡指数；Ｄ、根据步骤Ｃ所述的负载平衡指数选择执行用户作业的计算结点。

【技术特征摘要】
1.一种机群作业管理系统中分配计算结点的方法，其特征在于，包括以下步骤A、确定计算结点的负载平衡指标；B、根据用户作业确定所述的每一个负载平衡指标的权值；C、根据计算结点的所述负载平衡指标的数值和步骤B所述的各负载平衡指标的权值计算可分配的计算结点的负载平衡指数；D、根据步骤C所述的负载平衡指数选择执行用户作业的计算结点。2.根据权利要求1所述的机群作业管理系统中分配计算结点的方法，其特征在于，步骤A所述的负载平衡指标为CPU利用率、内存使用率、磁盘使用率、软件授权数、页交换频率、计算结点在过去预定时间内的平均进程数中一项或者任意组合。3.根据权利要求1所述的机群作业管理系统中分配计算结点的方法，其特征在于，步骤C所述的计算可分配的计算结点的负载平衡指数的方法为计算可分配的计算结点的每一负载平衡指标的数值与该负载平衡指标的权重的乘积，然后将所述的乘积求和。4.根据权利要求1所述的机群作业管理系统中分配计算结点的方法，其特征在于，步骤A所述的负载平衡指标至少包括计算结点在过去预定时间内的平均进程数，在步骤A与C之间进一步将所述的过去预定时间设置为多于1个时间段，并分别为每个时间段内的平均进程数设置权值，所述的过去预定时间内的平均进程数为每一个时间段的平均进程数数值与该时间段相应权重的乘积之和。5.根据权利要求1所述的机群作业管理...

【专利技术属性】
技术研发人员：张喜青，赵玉萍，柳书广，肖利民，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：11[中国|北京]