用于确保计算工作流的服务质量的系统和方法技术方案

向与计算工作流中每个节点相关联的每个子任务分配第一服务质量标识，其中，所述第一服务质量标识指示与每个节点相关联的服务质量等级。向每个子任务分配计划资源需求，其中，所述计划资源需求指示完成每个子任务所需的系统资源总量。为每个子任务生成资源分配计划，其中，所述资源分配计划指示所述系统资源在至少一个资源管理器中随时间的分发情况。向所述至少一个资源管理器输出所述资源分配计划和所述第一服务质量标识，以对通过所述至少一个资源管理器外部的至少一个工作流编排器针对每个节点所提交的一个或多个作业实施所述服务质量等级。

A System and Method for Ensuring Service Quality of Computing Workflow

A first quality of service identification is assigned to each sub-task associated with each node in the computational workflow, where the first quality of service identification indicates the level of quality of service associated with each node. Each sub-task is assigned a planned resource requirement, in which the planned resource requirement indicates the total amount of system resources required to complete each sub-task. A resource allocation plan is generated for each sub-task, in which the resource allocation plan indicates the distribution of the system resources over time in at least one resource manager. The resource allocation plan and the first quality of service identification are output to the at least one resource manager to implement the quality of service level for one or more jobs submitted by each node through at least one workflow choreographer outside the at least one resource manager.

【技术实现步骤摘要】
【国外来华专利技术】用于确保计算工作流的服务质量的系统和方法相关申请案交叉申请本专利技术要求2016年11月18日递交的第62/423,894号临时专利申请案在先申请优先权，该在先申请的内容以引入的方式并入本文本中。本申请还要求2017年5月30日递交的第15/607,721号专利申请案的在先申请优先权，该在先申请的内容也以引入的方式并入本文本中。
本文所述实施例大体上涉及工作流管理领域，更具体地，涉及确保计算工作流的服务质量。
技术介绍
在企业数据分析系统中，客户通常具有对各种控制系统的操作有影响的业务工作流，这些业务工作流可重复、复杂且相互依赖。通过构建大型节点集群的方式为客户提供服务，以同时运行多个任务。不同客户可能有不同要求和数据处理需求，所以可以根据正式协商的服务水平协议(servicelevelagreement，SLA)向特定客户提供特定服务水平。SLA通常会规定服务的特定方面，例如可用性、可服务性、性能和操作。也可以就违反SLA的情况规定处罚。在一些工作流中，顶级节点具有必须满足的严格期限，不同节点通常具有不同期限。另外，节点可以取决于共同的先辈节点，且给定节点的延迟可能会影响其余节点，从而可能导致整个系统SLA不达标。然而，这个问题只能通过改善节点的服务来部分控制，因为如果出现了延迟，一些控制系统没有服务质量(qualityofservice，QoS)控制过程来给任务提速。因此，需要一种用于确保计算工作流的QoS的改进系统和方法。
技术实现思路
根据一方面，提供了一种用于确保计算工作流的服务质量的方法。所述方法包括：在计划单元处，向与所述计算工作流中每个节点相关联的一个或多个子任务中的每一个分配第一服务质量标识，其中，所述第一服务质量标识指示分配给每个节点的服务质量等级；向每个所述一个或多个子任务分配计划资源需求，其中，所述计划资源需求指示完成每个所述一个或多个子任务所需的系统资源总量；为分配有所述第一服务质量标识和所述计划资源需求的每个所述一个或多个子任务生成资源分配计划，其中，所述资源分配计划指示所述系统资源在至少一个资源管理器中随时间的分发情况；以及向所述至少一个资源管理器输出所述资源分配计划和所述第一服务质量标识，以对通过所述至少一个资源管理器外部的至少一个工作流编排器针对每个节点所提交的一个或多个作业实施所述服务质量等级，其中，每个所述一个或多个作业包括所述一个或多个子任务。在一些示例实施例中，所述方法可以包括：从所述至少一个工作流编排器以及从所述至少一个资源管理器提取指示所述一个或多个子任务以及所述一个或多个作业的当前进度的执行信息；根据所述执行信息确定每个所述一个或多个子任务的实际资源需求；比较所述实际资源需求和所述计划资源需求；以及如果所述实际资源需求不同于所述计划资源需求，则动态调整至少一个所述一个或多个子任务的所述资源分配计划。在一些示例实施例中，所述方法可以包括：在所述计划单元处，从所述至少一个工作流编排器接收输入数据，其中，所述输入数据包括所述计算工作流中节点的数量、节点之间的依赖关系和每个节点的元数据，所述元数据包括节点标识、每个节点的一个或多个期限、每个节点执行的一个或多个命令和每个节点的资源需求估计，基于所述输入数据来识别所述一个或多个子任务。在一些示例实施例中，所述方法可以包括：在所述计划单元处，对所述一个或多个命令执行语法分析，以识别所述一个或多个命令中对所述至少一个资源管理器的操作有影响的命令；以及按序向每个所述识别出的命令分配编号，其中，所述第一服务质量标识包括所述节点标识和所述分配的编号。在一些示例实施例中，所述方法可以包括：在所述计划单元处，基于每个节点的过去执行历史预测所述一个或多个子任务；以及按序向每个所述被预测的一个或多个子任务分配编号，其中，所述第一服务质量标识包括所述节点标识和所述分配的编号。在一些示例实施例中，分配所述计划资源需求可以包括：在所述计划单元处，在所述一个或多个子任务之间均匀划分所述资源需求估计。在一些示例实施例中，分配所述计划资源需求可以包括：在所述计划单元处，基于每个节点的过去执行历史预测每个所述一个或多个子任务的所述计划资源需求。在一些示例实施例中，分配所述计划资源需求可以包括：在所述计划单元处，在预定时间段内执行每个所述一个或多个子任务；在所述预定时间段期满时终止每个所述一个或多个子任务；在终止每个所述一个或多个子任务时，获取每个所述一个或多个子任务的当前资源使用样本；以及根据所述当前资源使用样本确定所述计划资源需求。在一些示例实施例中，所述方法可以包括：在所述计划单元处，识别所述一个或多个子任务中的非受控子任务，其中，每个非受控子任务与未知工作流相关联；以及分配所述计划资源需求可以包括：在所述计划单元处，将完成每个非受控子任务所需的系统资源总量设为零以及将所述非受控子任务设置为具有非零时长。在一些示例实施例中，生成所述资源分配计划可以包括：在所述计划单元处，选择向每个所述一个或多个子任务分配资源分配的顺序，选择每个所述一个或多个子任务随时间的资源分配，以及选择每个所述一个或多个子任务的开始时间。在一些示例实施例中，所述方法可以包括：在所述计划单元处，识别所述一个或多个子任务中违反所述一个或多个期限的子任务，将所述识别出的子任务添加到子任务拒绝列表，以及输出所述子任务拒绝列表。在一些示例实施例中，所述方法可以包括：在作业提交器处，向每个所述一个或多个作业分配第二服务质量标识，其中，所述第二服务质量标识指示每个节点的所请求的服务质量等级；以及在所述至少一个资源管理器处，接收所述第一服务质量标识、所述第二服务质量标识和所述资源分配计划，以及根据如下内容分配所述系统资源：所述一个或多个作业中所述第二服务质量标识对应于所述第一服务质量标识的作业的资源分配计划。在一些示例实施例中，分配所述第二服务质量标识可以包括：观察所述一个或多个作业的顺序，根据所述顺序向每个所述一个或多个作业分配编号，其中，所述第二服务质量标识包括所述分配的编号和节点标识。根据另一方面，提供了一种用于确保计算工作流的服务质量的系统。所述系统包括：至少一个处理单元；以及非瞬时性存储器，其通信地耦合到所述至少一个处理单元并且包括计算机可读程序指令，其中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于：向与所述计算工作流中每个节点相关联的一个或多个子任务中的每一个分配第一服务质量标识，其中，所述第一服务质量标识指示分配给每个节点的服务质量等级；向每个所述一个或多个子任务分配计划资源需求，其中，所述计划资源需求指示完成每个所述一个或多个子任务所需的系统资源总量；为分配有所述第一服务质量标识和所述计划资源需求的每个所述一个或多个子任务生成资源分配计划，其中，所述资源分配计划指示所述系统资源在至少一个资源管理器中随时间的分发情况；以及向所述至少一个资源管理器输出所述资源分配计划和所述第一服务质量标识，以对通过所述至少一个资源管理器外部的至少一个工作流编排器针对每个节点所提交的一个或多个作业实施所述服务质量等级，其中，每个所述一个或多个作业包括所述一个或多个子任务。在一些示例实施例中，所述计算机可读程序指令可由所述至少一个处理单元执行以用于：从所述至少一个工作流编排器本文档来自技高网...

【技术保护点】
1.一种用于确保计算工作流的服务质量的方法，其特征在于，所述方法包括：在计划单元处，向与所述计算工作流中每个节点相关联的一个或多个子任务中的每一个分配第一服务质量标识，其中，所述第一服务质量标识指示分配给每个节点的服务质量等级；向每个所述一个或多个子任务分配计划资源需求，其中，所述计划资源需求指示完成每个所述一个或多个子任务所需的系统资源总量；为分配有所述第一服务质量标识和所述计划资源需求的每个所述一个或多个子任务生成资源分配计划，其中，所述资源分配计划指示所述系统资源在至少一个资源管理器中随时间的分发情况；以及向所述至少一个资源管理器输出所述资源分配计划和所述第一服务质量标识，以对通过所述至少一个资源管理器外部的至少一个工作流编排器针对每个节点所提交的一个或多个作业实施所述服务质量等级，其中，每个所述一个或多个作业包括所述一个或多个子任务。

【技术特征摘要】
【国外来华专利技术】2016.11.18 US 62/423,894;2017.05.30 US 15/607,7211.一种用于确保计算工作流的服务质量的方法，其特征在于，所述方法包括：在计划单元处，向与所述计算工作流中每个节点相关联的一个或多个子任务中的每一个分配第一服务质量标识，其中，所述第一服务质量标识指示分配给每个节点的服务质量等级；向每个所述一个或多个子任务分配计划资源需求，其中，所述计划资源需求指示完成每个所述一个或多个子任务所需的系统资源总量；为分配有所述第一服务质量标识和所述计划资源需求的每个所述一个或多个子任务生成资源分配计划，其中，所述资源分配计划指示所述系统资源在至少一个资源管理器中随时间的分发情况；以及向所述至少一个资源管理器输出所述资源分配计划和所述第一服务质量标识，以对通过所述至少一个资源管理器外部的至少一个工作流编排器针对每个节点所提交的一个或多个作业实施所述服务质量等级，其中，每个所述一个或多个作业包括所述一个或多个子任务。2.根据权利要求1所述的方法，其特征在于，还包括：在所述计划单元处，从所述至少一个工作流编排器以及从所述至少一个资源管理器提取指示所述一个或多个子任务以及所述一个或多个作业的当前进度的执行信息；根据所述执行信息确定每个所述一个或多个子任务的实际资源需求；比较所述实际资源需求和所述计划资源需求；以及如果所述实际资源需求不同于所述计划资源需求，则动态调整至少一个所述一个或多个子任务的所述资源分配计划。3.根据权利要求1所述的方法，其特征在于，还包括：在所述计划单元处，从所述至少一个工作流编排器接收输入数据，其中，所述输入数据包括所述计算工作流中节点的数量、节点之间的依赖关系和每个节点的元数据，所述元数据包括节点标识、每个节点的一个或多个期限、每个节点执行的一个或多个命令和每个节点的资源需求估计，基于所述输入数据来识别所述一个或多个子任务。4.根据权利要求3所述的方法，其特征在于，还包括：在所述计划单元处，对所述一个或多个命令执行语法分析，以识别所述一个或多个命令中对所述至少一个资源管理器的操作有影响的命令；以及按序向每个所述识别出的命令分配编号，其中，所述第一服务质量标识包括所述节点标识和所述分配的编号。5.根据权利要求3所述的方法，其特征在于，还包括：在所述计划单元处，基于每个节点的过去执行历史预测所述一个或多个子任务；以及按序向每个所述被预测的一个或多个子任务分配编号，其中，所述第一服务质量标识包括所述节点标识和所述分配的编号。6.根据权利要求3所述的方法，其特征在于，分配所述计划资源需求包括：在所述计划单元处，在所述一个或多个子任务之间均匀划分所述资源需求估计。7.根据权利要求1所述的方法，其特征在于，分配所述计划资源需求包括：在所述计划单元处，基于每个节点的过去执行历史预测每个所述一个或多个子任务的所述计划资源需求。8.根据权利要求1所述的方法，其特征在于，分配所述计划资源需求包括：在所述计划单元处，在预定时间段内执行每个所述一个或多个子任务；在所述预定时间段期满时终止每个所述一个或多个子任务；在终止每个所述一个或多个子任务时，获取每个所述一个或多个子任务的当前资源使用样本；以及根据所述当前资源使用样本确定所述计划资源需求。9.根据权利要求1所述的方法，其特征在于，还包括：在所述计划单元处，识别所述一个或多个子任务中的非受控子任务，其中，每个非受控子任务与未知工作流相关联；以及分配所述计划资源需求包括：在所述计划单元处，将完成每个非受控子任务所需的系统资源总量设为零以及将所述非受控子任务设置为具有非零时长。10.根据权利要求1所述的方法，其特征在于，生成所述资源分配计划包括：在所述计划单元处，选择向每个所述一个或多个子任务分配资源分配的顺序，选择每个所述一个或多个子任务随时间的资源分配，以及选择每个所述一个或多个子任务的开始时间。11.根据权利要求3所述的方法，其特征在于，还包括：在所述计划单元处，识别所述一个或多个子任务中违反所述一个或多个期限的子任务，将所述识别出的子任务添加到子任务拒绝列表，以及输出所述子任务拒绝列表。12.根据权利要求1所述的方法，其特征在于，还包括：在作业提交器处，向每个所述一个或多个作业分配第二服务质量标识，其中，所述第二服务质量标识指示每个节点的所请求的服务质量等级；以及在所述至少一个资源管理器处，接收所述第一服务质量标识、所述第二服务质量标识和所述资源分配计划，以及根据如下内容分配所述系统资源：所述一个或多个作业中所述第二服务质量标识对应于所述第一服务质量标识的作业的资源分配计划。13.根据权利要求12所述的方法，其特征在于，分配所述第二服务质量标识包括：观察所述一个或多个作业的顺序，根据所述顺序向每个所述一个或...

【专利技术属性】
技术研发人员：山姆·桑贾比，陈冲，雷扎·普努纳吉，辛恩·安东尼·伯格斯玛，裴炜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44