确定作业的调度优先级的方法和系统技术方案

提供了一种用于在具有众多所管理资源类型的集群化处理环境中确定环同类型的作业的调度优先级以便利于工作负荷管理的技术。所述技术包括将多个所管理资源类型的份额分配给所述集群化处理环境中的用户和用户组。所述技术还包括针对所述用户或用户组所提交的后续作业指派作业优先级，其中所计算的作业优先级是基于所述后续作业的类型属性和所述用户或用户组的所述多个所管理资源类型中的至少一个所管理资源类型的剩余份额的数量。

【技术实现步骤摘要】

本专利技术一般涉及合理的份额调度(fair share scheduling)，并且具体 地涉及确定作业调度优先级用于合理的份额调度，其是基于处理环境中单 个用户的多种类型的所管理资源的使用量。
技术介绍
合理的份额调度是工作负荷管理产品中的功能特征。在诸如集群化环 境之类的分布式处理环境中，工作负荷管理软件产品被用于调度用户程序 或作业以在所述环境中的各种机器上运行。合理的份额调度使决策朝着下 面的方向进行才艮据预定义的比例在用户或用户组之间分配处理环境的处 理资源。在合理的份额调度中，用户或用户组被分配某个比例的环境资源，并的资源相比而言所述用户或用户组所使用的资源量。因此， 一个用户或用 户组的作业调度优先级依赖于其它用户所消耗的资源量。资源的比例常常 被表述为占总计资源使用量的百分比。这种基于其它用户的资源消耗的调度可能产生针对单个用户的不稳定 和不理想的作业调度。这种调度可能是不稳定的，因为它依赖于可能在任 何时间点处发生急剧变化的其它用户的工作负荷。同样，它是不理想的， 因为用户作业的调度是基于其它用户的资源消耗来进行的。在合理的份额调度中，历史的资源使用量随着时间而衰减，从而使最 近所使用的资源对调度决策具有更大的影响。必需有一种用于记录并衰减 历史的资源使用量的机制，并且它常常是通过一种在许多有限长度的近期 时间间隔上的逐步衰减函数来实现。对于具有许多用户的集群，大量历史 的资源使用量数据可能需要被跟踪。
技术实现思路
基于前面所述内容，存在下述需求，即，对于单个用户或用户组而言 更稳定且合理的增强的合理的份额调度能力。同样，存在下述需求，即， 使衰减机制简化并使要跟踪的历史的资源使用量数据的量最小的方法。此 外，还存在下述需求，即，对不同作业类型进行合理的份额调度，所述不 同作业类型可以以不同的比例使用处理环境的一种或多种类型的资源。通过提供一种在具有多个耦合的处理单元的集群化处理环境中确定不 同类型作业的调度优先级的方法以便利于工作负荷管理，克服了现有技术 的缺点并提供了另外的优点。所述方法包括例如将集群化处理环境中的众 多所管理资源类型中的多个所管理资源类型中的每个所管理资源类型的一 个或多个份额分配给所述集群化处理环境中的至少一个用户实体。所述方 法还包括针对所述至少一个用户实体中的一个用户实体所提交的后续作业 指派作业优先级，其中所述作业优先级是基于所述后续作业的类型属性以 及所述用户实体的所述多个所管理资源类型中的至少一个所管理资源类型 的剩余份额的数量。在此还描述并要求保护对应于上面所概述的方法的系统和计算机程序产品。通过本专利技术的技术实现了另外的特征和优点。本专利技术的其它实施例以 及方面在此被详细地描述并被认为是所要求保护的本专利技术的 一部分。附图说明本专利技术的一个或多个方面被特别地指出来并且在本说明书的结尾处在 权利要求中作为例子被明确地要求保护。参照以下结合附图所做的详细描述，本专利技术的前述以及其它对象、特征、和优点是显而易见的，在附图中 图1描绘了并入并使用本专利技术的一个或多个方面的处理环境的一个实 施例；图2描绘了4艮据本专利技术的一个方面的针对混合的机器集群的合理的份额调度的初始化过程的流程图3描绘了才艮据本专利技术的一个方面的、在集群化处理环境里确定作业 调度优先级以便利于工作负荷管理的一个实施例里与所管理资源类型相关 联的数据的例子；图4描绘了根据本专利技术的一个方面的、在集群化处理环境里确定作业 调度优先级以便利于工作负荷管理的一个实施例里与所管理资源类型相关 联的数据的另一例子；图5描绘了根据本专利技术的一个方面的被用于将所管理资源类型的份额 分配给用户实体的逻辑的一个实施例；图6描绘了根据本专利技术的一个方面的、用于在集群化处理环境里确定 作业调度优先级用于对多种资源类型进行合理的份额调度的过程的若干方 面；图7描绘了根据本专利技术的一个方面的、在集群化处理环境中利用确定 作业调度优先级的技术对作业进行合理的份额调度的过程的一个实施例；图8描绘了根据本专利技术的一个方面的与更新作业等待队列中的作业调 度相关联的逻辑的一个实施例；图9描绘了根据本专利技术的一个方面的资源类型量随时间的衰减值；图10是根据本专利技术的一个方面的对资源类型量随时间的衰减值的另 一描绘；图11描绘了根据本专利技术的 一个方面的、与累积资源类型使用量用于合 理的份额调度相关联的逻辑的一个实施例；以及图12描绘了并入本专利技术的一个或多个方面的计算机程序产品的一个例子。具体实施例方式本专利技术的一个方面提供合理的份额调度，用于在具有多种类型的资源 和多种作业类型的混合集群处理环境中进行工作负荷管理。针对每类待管 理的资源，在混合的机器集群中可用的每类资源的量被划分成许多总计份额(total shares)。针对每类所管理的资源，使用所述集群的每个用户或组可以净皮分配某种数量的总计份额。每个用户和组针对每类所管理的资源 的使用量被跟踪并被转换成已使用的份额。对于每个用户和组，针对每类 资源的已使用的份额和已分配的份额的数量被用于朝着合理的份额调度的 方向来影响作业调度优先级。因为不同的作业类型可以以不同的比例利用 所述集群化处理环境中的所管理的资源类型，所以等待执行的已排队作业 的作业类型被用作确定已排队作业的作业调度优先级的一个因素。根据本专利技术的一个方面，提供了一种合理的份额调度能力，其能实现 对单个用户或用户组的作业的稳定且合理的调度。所述调度除了取决于对 于所述单个用户或用户组的资源分配和使用量外还取决于作业的类型(其 可以指示出执行时所需的资源类型)，而不是取决于对于其他用户或用户 组的资源分配和资源使用量。对混合处理环境中的每类可用资源的度量被 划分成许多份额。这些所管理的资源是被配置用于所述环境且可供使用的 资源，而独立于资源消耗。每个所管理的资源类型的份额的一部分被分配 给用户或用户组。接着，所述用户或用户组的待执行的每个作业被指派作 业执行调度优先级。此优先级是基于用户或组针对每类所管理的资源的分 配当前剩余多少份额。所确定的优先级独立于混合集群化处理环境中其他用户对所管理的资源的使用量。因为与所分配的份额的数量相比，用户所提交的作业的调度优先级更受所述用户或所述用户所归属的用户组所^使用的所管理资源的份额数量的影响，所以所述用户或用户组的资源使用量被跟踪和累积。此外，根据本专利技术的一个方面，指数衰减机制被应用到所累积的资源使用量数据，目的是给予近期的使用量较多的权重而给予过去较久的使用量较少的权重，从而，与受在更早时间处的过去使用量的影响相比，作业调度优先级更多地受所管理资源的近期使用量的影响。参考图l描迷了并入并使用本专利技术的一个或多个方面的处理环境的一个实施例。在一个例子中，所述处理环境是诸如集群化计算环境之类的分布式处理环境，其中所述环境的资源被共享以执行系统任务。 一个示例性的集群化处理环境是混合集群化处理环境，其中处理器集群包括具有不同资源类型的处理器。虽然在此将集群化环境描述为并入并使用本专利技术的一个或多个方面，但是包括非集群化处理环境的其它类型的环境也可以从本 专利技术的一个或多个方面受益。图1描绘了集群化处理环境100，其包括例如经由一个或多个连接104 彼此耦合的多个处理单元102。连接104包括但是不限于本文档来自技高网...

【技术保护点】
一种在集群化处理环境中确定不同类型的作业的调度优先级以便利于工作负荷管理的方法，所述方法包括：将众多所管理资源类型中的多个所管理资源类型中的每个所管理资源类型的一个或多个份额分配给集群化处理环境中的至少一个用户实体，其中所述众多所管理资源类型是所述集群化处理环境的资源；以及针对所述至少一个用户实体中的一个用户实体所提交的后续作业指派作业优先级，其中所述作业优先级是基于所述后续作业的类型属性和所述用户实体的所述多个所管理资源类型中的至少一个所管理资源类型的剩余份额的数量。

【技术特征摘要】
US 2006-10-25 11/552,5541.一种在集群化处理环境中确定不同类型的作业的调度优先级以便利于工作负荷管理的方法，所述方法包括将众多所管理资源类型中的多个所管理资源类型中的每个所管理资源类型的一个或多个份额分配给集群化处理环境中的至少一个用户实体，其中所述众多所管理资源类型是所述集群化处理环境的资源；以及针对所述至少一个用户实体中的一个用户实体所提交的后续作业指派作业优先级，其中所述作业优先级是基于所述后续作业的类型属性和所述用户实体的所述多个所管理资源类型中的至少一个所管理资源类型的剩余份额的数量。2. 根据权利要求l所述的方法，进一步包括接受用于所述集群化处理 环境中的众多所管理资源类型的初始化参数。3. 根据权利要求2所述的方法，其中所述初始化参数包括用于所述每 个所管理资源类型的至少一个唯一的参数。4. 根据权利要求2所述的方法，其中所述初始化参数中的至少一个在 分配时被使用。5. 根据权利要求l所述的方法，进一步包括接受将在指派时使用的表 达式，所述表达式由具有管理权限的用户输入。6. 根据权利要求l所述的方法，其中如果用户实体的所述众多所管理 资源类型中的一个所管理资源类型的剩余份额的数量大于零，则所述指派 使用下述表达式，其包括对应着所述众多所管理资源类型中的一个所管理 资源类型的非零常数因子。7. 根据权利要求l所述的方法，其中所述指派使用包括比例因子的表 达式，所述比例因子与用户实体的所述众多所管理资源类型中的一个所管 理资源类型的剩余份额的数量成比例。8. 根据权利要求l所述的方法，进一步包括接受对所述众多所管理资 源类型的指定，所述指定由具有管理权限的用户提供。9. 根据权利要求l所述的方法，进一步包括确定针对至少一个用户实...

【专利技术属性】
技术研发人员：钟恩慈，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]