地理分布式云中基于最短路径算法的工作流任务调度方法技术

本发明专利技术公开了一种地理分布式云中基于最短路径算法的工作流任务调度方法，该方法能使所有部分的工作流任务的执行时间和执行能耗最少，从而使整个工作流任务的执行时间和执行能耗最优。本发明专利技术结合工作流任务的特点和地理分布式云资源的特点提出来基于斐波拉契堆的最短路径工作流任务调度方法。本调度方法适用于地理分布式云中的工作流任务调度，它通过将工作流任务的有向无环图转换为超图，对超图进行划分之后，对每个划分使用Dijkstra算法得出任务执行时间和执行能耗最小的调度方法。这一优化调度方法充分利用了系统资源，缩短了工作流任务的执行时间，最小化了工作流任务的执行能耗。

【技术实现步骤摘要】
地理分布式云中基于最短路径算法的工作流任务调度方法
本专利技术涉及计算机云存储
，特别涉及一种地理分布式云中基于最短路径算法的工作流任务调度方法。
技术介绍
云计算的诞生是信息技术革命的产物。云计算应用了成熟的虚拟化技术，可以将大量的分布在不同区域位置的服务器、存储设备、网络设施和软件系统等IT资源整合成逻辑上统一的虚拟资源池，为大量用户提供各类安全可靠、成本低廉、交付简单、高可扩展的计算或存储服务。用户则基于“按量付费”的原则，通过互联网从云计算系统获取相应服务。随着信息技术的快速发展以及网络带宽的日益提高，人们对于计算和存储的要求越来越高，传统的计算模式已经不能有效满足人们对于高性能计算能力或海量数据存储空间的迫切需求，地理分布式云的概念应运而生。地理分布式云由许多位于不同地理位置的云构成，例如Google拥有分布在8个不同国家的13个云数据中心。地理分布式云比传统的云计算模式具有更大的存储能力和更快的处理速度，能为用户提供更好的服务。如今越来越多的应用依赖于地理分布式云，比如媒体流应用、传感器网络和在线社交网络等。地理分布式云中的任务调度问题是当前重要的研究，研究地理分布式云中的工作流任务调度方法具有重要的意义。在地理分布式云中选择合适的任务调度方法，可以有效提高任务执行效率的同时降低任务执行能耗。近年来，地理分布式云中的任务调度问题得到了许多学者们的广泛关注，并提出了多种任务调度方法。当前的地理分布式云中的任务调度方法通常将计算任务迁移到数据所在数据中心，通过传输处理后的中间结果减少数据量的传输成本，但是这些设计都是在假设数据中心之间的链接不会发生瓶颈的前提下进行设计的。设计离线最优任务调度算法可以使作业完成时间全局最小化。然而，这种离线优化不可避免地依赖于中间结果的任务执行时间和传送时间的先验知识，如果没有复杂的预测算法，这两者都不是现成的。即使有这样的知识，地理分布式云中的大数据处理工作也可能涉及一个包含数百个任务的有向无环图而对于这样一个有向无环图进行调度的最优解决方案通常是NP-难问题。
技术实现思路
本专利技术的目的是针对现有技术的不足，提出一种地理分布式云中基于最短路径算法的工作流任务调度方法，通过充分利用系统资源，能提高任务执行效率的同时减少任务执行能耗。为实现上述目的，本专利技术所设计的地理分布式云中基于最短路径算法的工作流任务调度方法，其特殊之处在于，包括如下步骤：1)根据任务数量和任务的执行顺序将有向无环图工作流任务图转化为超图的形式；2)将超图通过m次粗化之后转化为一个充分小的超图Hm，并多级递归平分方法将粗化后的超图Hm划分为K个部分，得到超图Hm的K-路初始划分3)通过选择超图Hm顶点的移动增益最大的部分移动K个顶点分区中的顶点来细化分区尽量最小化切割大小同时维持平衡约束，获得具有分区Π0的平面超图H0；4)依次对平面超图H0中的每条路径的任务调度建立任务调度模型，并计算每条路径中所有划分的工作流任务的完成时间T和执行能耗E，使用T+E作为调度模型中的边的权值；5)对每条路径按照Dijkstra算法选择最短路径的工作流任务调度策略，具体包括：5.1)初始化路径v中每个顶点的最短路径估计d(vi)，其中除了源点s的最短路径估计d(vs)初始化为0外，与源点s直接相连的顶点的最短路径估计初始化为边的长度，其他点的最短路径估计均被初始化为正无穷；5.2)创建一个空斐波拉契堆Q，按照5.1)中初始化顺序和最短路径估计依次将顶点插入到斐波拉契堆Q中；5.3)选取斐波拉契堆Q中的最小值点u，计算(s,u)的最短路径，并将u添加到顶点集合S；5.4)对Q中的每个顶点vi，若经过u后，源点s到顶点vi的最短路径变短，则更改d(vi)为经过u后的路径长度d(u)加边(u,vi)的长度，并删除Q中顶点u，调整斐波拉契堆Q；5.5)重复步骤5.3)和5.4)直至斐波拉契堆为空，找出所有顶点的最短路径；6)重复步骤4)和步骤5)，找出基于所有路径的最优任务调度方案。优选地，所述步骤2)中每个初始划分Vk∈Π(k＝1,2,...,K)满足的平衡准则：Wk≤Wavg(1+ε)其中ε为所允许的最大不平衡率，Wk为划分Vk中所有顶点的权重之和，Wavg为所有顶点权重均匀分布时各个划分的权重，已知w[v]为顶点的权重，Wk和Wavg的计算方式为：Wavg＝∑v∈Vw[v]/K。优选地，所述步骤3)中超图顶点移动增益计算的具体步骤包括：3.1)通过迭代所有与顶点vi连接的边来计算顶点vi的离开增益leave-gain；3.2)若没有正的离开增益，则返回，否则执行步骤3.3)；3.3)通过迭代所有与顶点vi连接的边来计算顶点vi的最大到达损失；3.4)计算每个至少连通一条包含顶点vi的切割边的划分的移动增量，返回顶点vi的最大移动增量和对应移动到的划分。优选地，所述步骤4)中工作流任务的完成时间T的计算方法为：其中workload为一条路径中某个划分的工作负载，mj为数据中心j中当前活跃的物理机的数量，数据中心j中每台物理机的平均服速率为μj，该划分中所有数据的平均传输距离为distance。优选地，所述步骤4)中工作流任务执行能耗E的计算方法为：E＝Ej(t)＝PUEj·mj(t)[αjμj+βj]已知活跃的服务器的数量mj，参数αj、βj和vj，并且给定数据中心j的功率使用效率度量PUEj。优选地，所述步骤2)中切割尺寸度量定义x(Π)的计算方式为：目前广泛使用并被证明可以精确模拟并行稀疏矩阵向量乘法的超图划分尺寸为连通度-1度量。在这个度量中，每条切割边n对切割尺寸的影响为c[n](λn-1)。传统的工作流任务调度方法都是直接对工作流任务的有向无环图进行调度，但是简单的有向无环图只能体现两个任务的先后执行关系，无法从全局的角度考虑系统资源的利用和任务执行的能耗问题。在地理分布式云环境中，考虑到系统资源的利用和任务执行效率以及任务执行的能耗是为用户提供更好服务的关键因素。在任务调度过程中，将工作流任务的有向无环图通过任务的执行关系和任务量的大小转化为工作流任务超图，然后对工作流任务超图进行K-路划分，转化为更小的超图。通过对划分后的每个部分建立任务调度模型，求解任务执行时间和执行能耗最低的任务调度方法，使任务调度达到最优。本专利技术提出基于斐波拉契堆的最短路径工作流任务调度方法，该方法能使所有部分的工作流任务的执行时间和执行能耗最少，从而使整个工作流任务的执行时间和执行能耗最优。本专利技术结合工作流任务的特点和地理分布式云资源的特点提出来基于斐波拉契堆的最短路径工作流任务调度方法。本调度方法适用于地理分布式云中的工作流任务调度，它通过将工作流任务的有向无环图转换为超图，对超图进行划分之后，对每个划分使用Dijkstra算法得出任务执行时间和执行能耗最小的调度方法。这一优化调度方法充分利用了系统资源，缩短了工作流任务的执行时间，最小化了工作流任务的执行能耗。附图说明图1为本专利技术地理分布式云中基于最短路径算法的工作流任务调度方法的流程图。图2为地理分布式云中基于最短路径算法的工作流任务调度模型。具体实施方式以下结合附图和具体实施例对本专利技术作进一步的详细描述。本专利技术提出的地理分布式云中基于最短路径算法的工作流任本文档来自技高网...

【技术保护点】
1.一种地理分布式云中基于最短路径算法的工作流任务调度方法，其特征在于：包括如下步骤：1)根据任务数量和任务的执行顺序将有向无环图工作流任务图转化为超图的形式；2)将超图通过m次粗化之后转化为一个充分小的超图H

【技术特征摘要】
1.一种地理分布式云中基于最短路径算法的工作流任务调度方法，其特征在于：包括如下步骤：1)根据任务数量和任务的执行顺序将有向无环图工作流任务图转化为超图的形式；2)将超图通过m次粗化之后转化为一个充分小的超图Hm，并多级递归平分方法将粗化后的超图Hm划分为K个部分，得到超图Hm的K-路初始划分3)通过选择超图Hm顶点的移动增益最大的部分移动K个顶点分区中的顶点来细化分区Пl，尽量最小化切割大小同时维持平衡约束，获得具有分区П0的平面超图H0；4)依次对平面超图H0中的每条路径的任务调度建立任务调度模型，并计算每条路径中所有划分的工作流任务的完成时间T和执行能耗E，使用T+E作为调度模型中的边的权值；5)对每条路径按照Dijkstra算法选择最短路径的工作流任务调度策略，具体包括：5.1)初始化路径v中每个顶点的最短路径估计d(vi)，其中除了源点s的最短路径估计d(vs)初始化为0外，与源点s直接相连的顶点的最短路径估计初始化为边的长度，其他点的最短路径估计均被初始化为正无穷；5.2)创建一个空斐波拉契堆Q，按照5.1)中初始化顺序和最短路径估计依次将顶点插入到斐波拉契堆Q中；5.3)选取斐波拉契堆Q中的最小值点u，计算(s,u)的最短路径，并将u添加到顶点集合S；5.4)对Q中的每个顶点vi，若经过u后，源点s到顶点vi的最短路径变短，则更改d(vi)为经过u后的路径长度d(u)加边(u,vi)的长度，并删除Q中顶点u，调整斐波拉契堆Q；5.5)重复步骤5.3)和5.4)直至斐波拉契堆为空，找出所有顶点的最短路径；6)重复步骤4)和步骤5)，找出基于所有路径的最优任务调度方案。2.根据权利要求1所述的地理分布式云中基于最短路径算法的工作流任务调度方法，其特征在于：所述步骤2...

【专利技术属性】
技术研发人员：李春林，周敏，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北,42