一种云环境下基于合并分配的工作流低能耗调度方法技术

本发明专利技术提供了一种云环境下基于阶段划分的数据密集型工作流调度方法，包括下列步骤：1)对工作流结构进行抽象；2)资源模型定义；3)工作流调度框架确定；4)基于最长路径的任务合并，直至最长路径不能再合并为止并生成所有任务调度至服务器上；5)基于调度结果的任务松弛，依次遍历各服务器，其中对每个服务器从后往前寻找可松弛的若干连续任务形成极大任务串并在可用时间槽长范围内为该任务串降压。本发明专利技术提供了一套系统的云环境下基于合并分配的工作流低能耗调度方法，为实际应用的调度方法提供了支持，同时有助于同步降低工作流的完成时间与工作流执行所需要的能耗。本发明专利技术是将工作流任务合并分配思想及任务松弛思想运用到云环境下工作流调度方面的迁移创新。到云环境下工作流调度方面的迁移创新。到云环境下工作流调度方面的迁移创新。

【技术实现步骤摘要】
一种云环境下基于合并分配的工作流低能耗调度方法


[0001]本专利技术属于云计算领域，且特别是云环境下基于合并分配的工作流低能耗调度方法。

技术介绍

[0002]云计算是一种新型的商业计算模型，它提供方便、低成本和易于获得的计算资源作为服务，具有服务和维护成本低、控制灵活等优点。工作流是指使用计算机将业务流程作为整体或自动化的一部分。工作流管理联盟将工作流定义为业务流程自动化的全部或部分，在此期间，文档、信息或任务将根据每个链接中的一系列程序规则执行。云工作流调度是指将工作流任务映射/分配到合适的云计算资源上，同时合理安排被分配到云计算资源上的任务的执行顺序以满足工作流任务时序约束、用户需要及系统性能要求，云工作流调度是云工作流系统的一个重要组成部分。云工作流调度的目的是解决云计算环境中工作流管理系统中的任务调度问题，并通过制定合适的调度方法将任务部署给云环境中的不同服务器。目前的研究通过各种调度算法以优化工作流执行时间、成本及能耗，给现实应用的调度流程提供了有力的理论保证，以提高工作流的效率并节约工作资源。
[0003]当下工作流调度方法在进行各项指标优化操作中大多没有考虑能耗的影响或是没有设计完整的节能方法来有效的降低能耗。然而，根据越来越多的研究表明，随着云服务、大数据分析、电子商务、互联网流量的不断增长，使得数据中心的能耗增长更快，工作流调度的能耗问题是不可忽略的。对于此类工作流调度问题而言，本专利提出了一种基于合并分配的工作流低能耗调度方法。

技术实现思路

[0004]本专利技术要解决的问题是：以同步降低工作流的完成时间与工作流执行所需要的能耗为目标，为了便于为此类工作流调度问题提供调度方法。本专利技术结合DAG图，工作流任务之间的数据依赖，以及任务的传输时间和各具有电压/频率调整能力的服务器，优化整个工作流的完成时间及能耗情况。
[0005]为达成上述目的，本专利技术提出了一种基于合并分配的工作流低能耗调度方法。方法包括下列步骤：
[0006]1.对工作流结构进行抽象。
[0007]基于DAG图来表示工作流，G＝<T，E>，G为需要调度的工作流，其中：T＝{t
i
|1≤i≤n}，T表示工作流G任务集合，t
i
表示工作流G的第i个任务。E＝{e
i，j
|e
i，j
≥0，0≤i，j≤n}，边e
i，j
表示未经算法调度前任务间的理论数据传输量，也代表任务t
i
必须在任务t
j
开始之前完成，工作流入口任务记为t
entry
，出口任务为t
exit
。任务t
i
的前驱任务记为后继任务记为
[0008]出工作流中任务t
i
在服务器上以q级频率的执行时间ET(t
i
，q)，如式(1)所示：
[0009][0010]其中CPI表示每条指令的处理器周期数，在调度过程中，如未特别说明，工作流中所有任务默认以服务器的最小频率等级μ执行，此时ET(t
i
，q)为ET(t
i
，μ)。
[0011]由S和E可得出数据传输矩阵D，有D＝{d
i，j
|t
i
需向t
j
传送大小为d
i，j
的数据，i，j
□
1，2，...，N}，其中由式d
i，j
由式(2)决定：
[0012][0013]由各任务执行时间及任务间数据传输量可计算出各任务t
j
的开始时间集合ST
j
，如式(3)所示：
[0014][0015]当t
i
存在多个前驱时，其实际开始时间为ST
i
中的最大值，而其实际完成时间则由式(4)求出：
[0016]RFT(t
i
)＝Max(ST
i
)+ET(t
i
，q)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0017]最终，工作流的完成时间Ms即为出口任务的实际完成时间RFT(t
exit
)执行工作流定义示例图如图1所示。
[0018]2.资源模型定义。
[0019]本文中云环境下m个服务器由集合R＝{r
p
|r
p
为具有DVFS能力的服务器，1≤p≤m}表示，且服务器间的通信链路为全连通的方式。r
p
可运行于不同等级的供电电压(对应不同等级的运行频率)，尽管低等级的电压和频率将导致处理器性能的降低，不过在不影响工作流完成时间的前提下通常可以采取调低处理器电压和频率的方式来降低能耗。设定所有服务器都具备μ个电压/频率等级，有VF＝{cf
q
＝<v
q
，f
q
>|1≤q≤μ}。当处理器运行于等级为v1的电压时，对应的运行频率为等级f1，具体参数如表1所示。默认服务器之间的传输速率一致，链路中传输单位数据所需的时间为B。即使在服务器的供电电压改变之后，传输速率也保持不变。服务器处理能力参数如图2所示。
[0020]工作流在云环境下各服务器上的执行能耗由静态能耗和动态能耗两部分组成。通常情况下，静态能耗占总能耗的比例较少且一般相对固定，优化空间较小，故本文暂时不考虑静态能耗部分。而服务器的动态能耗主要由服务器工作时的能耗E
busy
和服务器空闲时的能耗E
idle
两部分组成。由CMOS能量模型可知，服务器工作时的处理功耗主要由运行频率决定。
[0021]具体而言，服务器工作能耗由式(5)计算：
[0022][0023]服务器的空闲能耗可由式(6)计算：
[0024][0025]其中，v6和f6为服务器电压和频率可以调整至的最高等级所对应的供电电压和运行频率。综上，执行工作流任务的总能耗可由式(7)计算：
[0026]E
total
＝E
busy
+E
idle
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0027]3.工作流调度框架。
[0028]不同的任务调度结果决定了完成时间和能耗两个方面的不同时间成本，本文将给出一个调度方法以同步降低工作流的完成时间与工作流执行所需要的能耗。
[0029]本方法将分三个阶段完成工作流的调度，在保证工作流的Ms尽可能短的同时，通过减少服务器使用数量和松弛降频的手段来减少能耗。首先在任务串合并阶段对Ms进行优化，同时确立若干可合并分配的任务串以初步减少服务器使用数量；之后在映射处理阶段将第一阶段未处理的任务通过合并和插入的方法调度至已分配服务器的时间槽，从而进一步减少服务器使用数量；最后在任务松弛阶段，在不推迟整体工作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云环境下基于合并分配的工作流低能耗调度方法，其特征在于以同步降低工作流的完成时间与工作流执行所需要的能耗为目标，有助于工作流执行效率提升，该方法包括下列步骤：1)对工作流结构进行抽象；2)资源模型定义；3)工作流调度框架确定；4基于最长路径的任务合并，直至最长路径不能再合并为止并生成所有任务调度至服务器上；5)基于调度结果的任务松弛，依次遍历各服务器，其中对每个服务器从后往前寻找可松弛的若干连续任务形成极大任务串并在可用时间槽长范围内为该任务串降压。2.根据权利要求1所述的一种云环境下基于合并分配的工作流低能耗调度方法，其特征在于，在步骤1)中，我们抽象了工作流的结构，通过DAG图来表示工作流，认为工作流是一个有向加权图，前面的任务与后面的任务相连接，前后任务具有数据依赖，边上带有权重，即任务之间的传输时间，这是一个典型的数据流结构。为之后工作流调度提供了理论依据。3.根据权利要求1所述的一种云环境下基于合并分配的工作流低能耗调度方法，其特征在于，在步骤2)中，对工作流使用的资源进行了定义，服务器间的通信链路为全连通的方式。服务器可运行于不...

【专利技术属性】
技术研发人员：刘茜萍，冯定逸，罗卫兰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：