数据中心中基于工作流关键路径的任务优化调度方法技术

一种数据中心中基于工作流关键路径的任务优化调度方法，根据应用的工作流中各子任务的差异，数据中心确定影响系统性能的关键因素，根据优化目标和工作流特点比较各子任务的性价比，确定分配给各子任务的资源节点，以使基于用户不同需求提出两种调度资源节点方法，使得资源节点的租费最优化或工作流的处理时间最短：实现单位资金购买的数据处理能力最大而节省资源的租金费用，或提高系统性价比和增强系统运行效率而降低工作流处理时间，同时生成资源节点执行计划。本发明专利技术兼顾资源节点租金成本中的时间与节点数量两个因素，用最小化的资源节点租金费用购买计算能力最强的资源节点，且其数学模型可适应各种类型应用和大幅度下降应用的运行成本。

【技术实现步骤摘要】
数据中心中基于工作流关键路径的任务优化调度方法
本专利技术涉及一种数据中心中基于工作流关键路径的任务优化调度方法，属于云计算的

技术介绍
数据中心中针对任务的资源节点调度方法是云计算
中的主要研究内容。用户向数据中心提交需要部署在数据中心上的应用时，该应用是由需要数据中心进行处理的数据流和对这些数据进行分析的工作流所组成。其中用户需要数据中心进行处理的数据流可能是单一数据流，更多情况是多个数据流。资源节点调度方法负责给用户分配数据中心处理数据所需的资源节点，并确保分配给用户的每个资源节点都被有效、合理的利用。资源节点是利用虚拟化技术配置的虚拟服务器，该虚拟服务器上部署了用户提交的数据处理任务。数据中心针对任务的资源节点调度方法主要关注两方面：用户的资源节点需求预测与保证方法，以及数据中心对资源节点优化调度方法。其中：用户的资源节点需求预测与服务保证方法：数据中心通过对用户需求的预测调度相应数量的资源节点，以节省资源节点的租金花费；还要对资源节点合理设置在服务器集群中的物理区域，保障用户实现服务层次上的目标。为了更好地达到资源节点优化利用的目标，数据中心资源节点调度方法希望使用最少的资源节点来满足用户的服务需求。由于在运行环境中，用户对数据中心的资源节点需求、即其应用服务的处理数据工作量始终处于变化之中，导致用户对服务的期望与当前用户的实际资源节点使用情况存在差距。因此，数据中心的资源节点调度方法必须要利用概率统计等一系列数学方法快速、准确地预测应用服务处理数据的工作量，进而估计需要使用的资源节点数量。同时，依据未来一段时间用户对资源节点的需求特点对数据中心的资源节点在物理服务器上的部署分配方案进行对应调整，保障数据中心承诺给用户的服务质量不会改变。数据中心对资源节点的优化调度方法：数据中心为部署在其上的多个应用分配资源节点时，产生的资源竞争与优化问题而相应提出对资源节点进行优化调度方法。其目标是让数据中心的资源节点能够得到充合理利用，其主要方法可为两种：基于优先级的优化调度方法和基于工作流的优化调度方法。其中：基于优先级的资源节点优化调度方法是：针对数据中心中组成应用的子任务的不同特点来对分配资源节点，即在某些类型约束条件(如数据中心资源节点的资源利用率、数据中心系统软件的运行环境等)下，将子任务的自身特点量化为相应的权值，并按照子任务的权值大小排序。然后，数据中心以子任务的权值顺序作为资源节点的调度顺序，将合适数量的资源节点优先分配给优先级最高的子任务。基于应用工作流的优化调度方法是：使用应用的工作流来描述负载的应用执行过程，该方法是针对应用的工作流的特点分配给工作流中每个子任务适当数量的资源节点。其中，应用的工作流用于描述部署在数据中心上的复杂应用，并由工作流的子任务以及各个子任务间的依赖关系所组成。在具体资源节点优化调度方法中，应用的工作流被形式化描述为一个有向无环图，通过对该工作流图的子任务分配适当数量的资源节点形成应用的执行计划。而对该工作流图的调整与优化都是基于工作流的资源节点优化调度。目前，基于应用的工作流的资源节点优化调度方法是根据应用的工作流图进行优化的，在工作流图自身的约束条件与其他约束条件(包括时间约束条件、能耗约束条件或均衡负载等等)之间获取平衡，对分配给工作流的资源节点租金费用或资源节点的执行效率执行优化处理。一些资源节点优化调度算法在设定约束条件下，不仅可以给出应用的资源节点优化调度方案，还可以给出这类优化问题的资源节点租用的最优方案，也就是给出一个帕累托优化曲线来指明该类问题的最优解分布情况。在基于工作流的资源节点优化调度方法中，工作流图的子任务的自身特点互不相同(如：执行顺序、硬件系统属性与数据中心的不同网络结构等)，会导致资源节点优化调度方案的最优解会发生显著变化。综上所述，基于应用的工作流的资源节点优化调度方法能够更好地满足复杂应用的子任务资源节点优化调度问题，并可以显著提高系统的优化效果。然而，当前工作的不足之处是：没有考虑到应用的工作流中子任务对于数据中心资源节点的需求差异。因为每个子任务实现不同的数据处理目标，对于资源节点的需求必然存在差异。因此，在子任务对资源的需求存在差异的条件下，为了优化系统资源节点的租用开销、提高整个系统的执行效率，需要考虑对工作流中各个子任务的资源节点租用花费与其产出之间的投入与产出的比例关系，即需要考虑资源节点调度方法的性价比对系统性能的影响。另外，现有资源节点优化调度方法没有考虑数据中心部署的应用所包含的工作流中的各个子任务之间的差异性。对特定类型子任务分配的资源节点数量将影响应用的执行效率，因此需要对各类型子任务在应用工作流中的重要性，以及子任务所占有的资源节点是否有助于改善系统性能做出有效判断。这些问题都成为业内科技人员关注的焦点课题。
技术实现思路
有鉴于此，本专利技术的目的是提供一种数据中心对基于工作流关键路径的任务优化调度方法，本专利技术是基于应用工作流中的不同子任务对资源节点的需求差异而提出的：针对实际环境中制约系统性能的两类约束条件，分别提出两种不同的任务调度方法，使得数据中心中基于应用工作流的资源节点调度实现系统性能的优化：首先，在时间约束条件下，即用户对工作流的数据处理时间设定完成时间之内，使得实现应用工作流所需的资源节点租金费用最小化；其次，针对数据中心已经确定的自身资源节点，并在设定资源节点总数量的条件下，给每个资源节点分配子任务，使得子任务的执行时间最小化。为了达到上述目的，本专利技术提供了一种数据中心中基于工作流关键路径的任务优化调度方法，其特征在于：数据中心接收到用户提交并需要部署在数据中心上、由数据中心进行处理的数据流和对这些数据进行分析的工作流组成的应用时，数据中心根据应用的工作流中各个子任务之间的差异，确定影响系统性能的关键因素，根据优化目标和工作流特点对各个子任务执行性价比的比较，确定分配给各个子任务的资源节点，以使基于用户不同需求有效调度资源节点，使得租用的资源节点费用最优化或工作流的处理时间最优化：即实现单位资金所购买的数据处理能力最大化而节省资源的租金费用，或提高系统性价比和增强系统运行效率而降低工作流的处理时间，同时生成资源节点执行计划；该方法包括下列各个操作步骤：步骤1，数据中心设置每个应用的工作流的资源节点优化调度模型：该工作流的资源节点调度模型是遵循工作流的处理流程，根据用户实际需求对工作流中的子任务分配适宜数量的资源节点、即虚拟服务器，并生成执行计划；同时基于工作流子任务特性，评估资源节点分配的有效性，在不破坏工作流的逻辑结构前提下，优化工作流的资源节点使用数量；步骤2，根据已部署应用的工作流图确定工作流的下述特性：工作流的关键路径、使用资源节点的类型、工作流中子任务的计算能力与部署子任务时该类型资源节点的性价比；因工作流图中每个子任务的资源需求与计算能力各不相同，根据图论知识从该工作流图中寻找到一条关键路径，作为子任务资源节点优化调度方法的资源分配依据；步骤3，数据中心根据每个工作流子任务特性与各个子任务间的依赖关系，确定工作流图中的数据传输时间；步骤4，合并子任务：根据优化目标，对工作流图的子任务选择传输时间最大的边的两端子任务进行合并，生成新的复合子任务，减少子任本文档来自技高网...

【技术保护点】
一种数据中心中基于工作流关键路径的任务优化调度方法，其特征在于：数据中心接收到用户提交并需要部署在数据中心上、由数据中心进行处理的数据流和对这些数据进行分析的工作流组成的应用时，数据中心根据应用的工作流中各个子任务之间的差异，确定影响系统性能的关键因素，根据优化目标和工作流特点对各个子任务执行性价比的比较，确定分配给各个子任务的资源节点，以使基于用户不同需求有效调度资源节点，使得租用的资源节点费用最优化或工作流的处理时间最优化：即实现单位资金所购买的数据处理能力最大化而节省资源的租金费用，或提高系统性价比和增强系统运行效率而降低工作流的处理时间，同时生成资源节点执行计划；该方法包括下列操作步骤：步骤1，数据中心设置每个应用的工作流的资源节点优化调度模型：该工作流的资源节点调度模型是遵循工作流的处理流程，根据用户实际需求对工作流中的子任务分配适宜数量的资源节点、即虚拟服务器，并生成执行计划；同时基于工作流子任务特性，评估资源节点分配的有效性，在不破坏工作流的逻辑结构前提下，优化工作流的资源节点使用数量；步骤2，根据已部署应用的工作流图确定工作流的下述特性：工作流的关键路径、使用资源节点的类型、工作流中子任务的计算能力与部署子任务时该类型资源节点的性价比；因工作流图中每个子任务的资源需求与计算能力各不相同，根据图论知识从该工作流图中寻找到一条关键路径，作为子任务资源节点优化调度方法的资源分配依据；步骤3，数据中心根据每个工作流子任务特性与各个子任务间的依赖关系，确定工作流图中的数据传输时间；步骤4，合并子任务：根据优化目标，对工作流图的子任务选择传输时间最大的边的两端子任务进行合并，生成新的复合子任务，减少子任务间数据传输时间：实际部署方法是将两个子任务部署在同一台物理机上，减少该两个子任务的资源节点间的数据传输时间；步骤5，调整工作流图；根据用户需求与约束条件，为用户分配资源节点；在为目标用户分配资源节点时，根据优化目标通过比较子任务的性价比来决定如何给各子任务分配资源节点，最终生成应用的执行计划。...

【技术特征摘要】
1.一种数据中心中基于工作流关键路径的任务优化调度方法，其特征在于：数据中心接收到用户提交并需要部署在数据中心上、由数据中心进行处理的数据流和对这些数据进行分析的工作流组成的应用时，数据中心根据应用的工作流中各个子任务之间的差异，确定影响系统性能的关键因素，根据优化目标和工作流特点对各个子任务执行性价比的比较，确定分配给各个子任务的资源节点，以使基于用户不同需求有效调度资源节点，使得租用的资源节点费用最优化或工作流的处理时间最优化：即实现单位资金所购买的数据处理能力最大化而节省资源的租金费用，或提高系统性价比和增强系统运行效率而降低工作流的处理时间，同时生成资源节点执行计划；该方法包括下列操作步骤：步骤1，数据中心设置每个应用的工作流的资源节点优化调度模型：该工作流的资源节点调度模型是遵循工作流的处理流程，根据用户实际需求对工作流中的子任务分配适宜数量的资源节点、即虚拟服务器，并生成执行计划；同时基于工作流子任务特性，评估资源节点分配的有效性，在不破坏工作流的逻辑结构前提下，优化工作流的资源节点使用数量；步骤2，根据已部署应用的工作流图确定工作流的下述特性：工作流的关键路径、使用资源节点的类型、工作流中子任务的计算能力与部署子任务时该类型资源节点的性价比；因工作流图中每个子任务的资源需求与计算能力各不相同，根据图论知识从该工作流图中寻找到一条关键路径，作为子任务资源节点优化调度方法的资源分配依据；步骤3，数据中心根据每个工作流子任务特性与各个子任务间的依赖关系，确定工作流图中的数据传输时间；步骤4，合并子任务：根据优化目标，对工作流图的子任务选择传输时间最大的边的两端子任务进行合并，生成新的复合子任务，减少子任务间数据传输时间：实际部署方法是将两个子任务部署在同一台物理机上，减少该两个子任务的资源节点间的数据传输时间；所述步骤4包括下列操作内容：(41)分别计算各个应用的工作流子任务间的数据传输的工作量，数据传输的工作量越大，则用于传输的时间消耗越大，所花费的租金越高；(42)为减少子任务间的数据传输时间，以子任务间数据传输工作量作为衡量传输费用的指标，从大到小依次将工作流图中传输时间最大的边两端的子任务进行合并，成为新的复合子任务；在对应用的工作流子任务进行合并时，会因不同的约束目标，造成其合并方法也有所不同：(A)在设定时间约束条件下，使用最少资源节点合并子任务的方法是：先确定工作流图的关键路径，根据关键路径上子任务的数据传输时间按照由高到低的顺序使用所述步骤(42)的路径合并方法，将关键路径上的子任务合并为新的复合子任务，减少数据传输的时间消耗；(B)在资源节点设定数量约束条件下，缩短应用工作流的子任务完成时间的合并方法是：先将工作流图中每个工作流子任务间的边按照数据传输时间的长短进行降序排序，再使用所述步骤(42)的子任务合并方法，对子任务进行合并，直到工作流中没有子任务与其它非复合子任务进行合并为止；(43)因规定合并过程中的复合子任务不再与其他子任务合并，故在没有任何子任务需要与其它非复合子任务合并时，合并过程结束；步骤5，调整工作流图；根据用户需求与约束条件，为用户分配资源节点；在为目标用户分配资源节点时，根据优化目标通过比较子任务的性价比来决定如何给各子任务分配资源节点，最终生成应用的执行计划；所述步骤5包括下列操作内容：(51)调整合并后的工作流图的结构，并确定新工作流图的关键路径；(52)根据优化目标，在设定时间约束条件下，执行资源节点优化调度方法：先为工作流的关键路径上的子任务分配资源节点，再为剩余的子任务分配能够达成优化目标所需的数量最少的资源节点；或者(53)根据优化目标，在资源节点设定数量的约束条件下，执行资源节点优化调度方法：利用穷举的方法优先为工作流的关键路径上的子任务分配资源节点，再为剩余的子任务分配能够达成优化目标所需的数量最少的资源节点。2.根据权利要求1所述的方法，其特征在于：所述工作流定义为一组子任务及其依赖关系，即一个以工作流图描述的应用的逻辑执行过程；所述工作流图是一幅有向无环图，图中的节点表示工作流的子任务，连接线或边表示各子任务之间的依赖关系，即子任务之间的数据传递；工作流的子任务是应用中分析数据的最小单元，不同子任务对于资源节点的使用需求与资源节点的处理能力存在着差异；数据中心基于每个应用的工作流子任务，根据用户实际需求分配设定数量的资源节点，最终形成该应用的执行计划。3.根据权利要求1所述的方法，其特征在于：所述资源节点是数据中心利用虚拟化技术在物理服务器上占有包括CPU、内存、硬盘存储空间与传输带宽的多种资源的虚拟服务器；所述执行计划是一组运行子任务的资源节点及该资源节点间的依赖关系；资源节点是对工作流分配资源的基本单位，即利用虚拟化技术生成的虚拟服务器；资源节点间的依赖关系表示虚拟服务器之间产生的数据传递；故执行计划是工作流与工作流的各子任务使用的资源节点数的集合。4.根据权利要求1所述的方法，其特征在于：所述工作流图的关键路径是根据子任务的数据处理能力计算得到的工作流图中的一条路径，关键路...

【专利技术属性】
技术研发人员：马华东，高一鸿，张海涛，丁鸿凯，赵纯，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11