一种混合云环境中动态多工作流调度执行的费用优化策略制造技术

本发明专利技术涉及一种在混合云环境下动态多工作流调度的费用优化方法，方法优先将系统中动态提交的多工作流调度到私有云中执行，采用一种启发式调度算法为工作流分配私有云资源，充分利用私有云的空闲时间槽，减少因等待的资源浪费，提高私有云的利用效率。当私有云资源无法满足工作流的需求时，使用多约束的工作流分割思想，将工作流分割成子工作流，然后调度部分子工作流到公有云中执行。使用公有云资源时，优先在已租用的资源中寻找最合适的资源，以提高公有云资源利用率，如果需要租用新的资源，则为任务租用最“经济”的资源，降低公有云资源的使用费用。

A cost optimization strategy for dynamic multi workflow scheduling execution in hybrid cloud environment

The invention relates to a method of cost optimization in a hybrid cloud environment dynamic workflow scheduling method, the dynamic priority submission system in multi workflow scheduling to private cloud implementation, using a heuristic scheduling algorithm for workflow allocation of private cloud resources, make full use of private cloud free time slot, reduce the waste of resources due to waiting for to improve the efficiency of the use of private cloud. When the private cloud resources can not meet the needs of the workflow, the workflow is divided into sub workflow by using the multi Constraint Workflow division idea, and then the partial workflow is scheduled to execute in the public cloud. The use of public cloud resources, give priority to find the most suitable resources in the leased resources, to improve the utilization of public cloud resources, if you need to rent a new resource, then hire most \economic\ resources for the task, reduce the cost of the use of public cloud resources.

【技术实现步骤摘要】
一种混合云环境中动态多工作流调度执行的费用优化策略
本专利技术属于工作流调度领域，具体涉及一种混合云环境下对动态多工作流调度的费用优化策略。
技术介绍
云计算是随着互联网的快速发展而兴起的一种新的计算模式，这种新兴的服务方式也逐渐成为企业、政府和学术界的关注热点，因为它通过虚拟化技术整合大规模分布式计算资源形成巨大的资源池，为用户提供可弹性伸缩的资源，这不仅有利于资源的有效利用，也能给用户带来便捷、低成本的服务。工作流也是一种被广泛使用的技术，它一般表示大规模的复杂应用程序，并由很多相互依赖的任务组成，通常使用DAG表示，云计算服务拥有计算能力强、使用价格低廉等特点，越来越多的企业或机构选择将工作流应用放到云端执行，产生的费用开销、执行时长以及安全性问题等是他们所关注的，因此设计合适的工作流调度算法，在保证工作流QoS需求的同时优化系统费用支出是很有必要的。云环境中的工作流调度问题属于NP难问题，当前的很多工作流都针对该问题提出了近似算法，一般可以分为基于启发式、基于元启发式和基于数学规划，基于启发式的算法相比基于元启发式一般算法复杂度较低，而基于数学规划的方式一般是将调度问题转换成整数线性规划问题。
技术实现思路
本专利针对混合云中的动态多工作流调度问题，提出了一种费用优化的调度策略，利用表启发式的调度思想，对用户动态提交的工作流进行相对紧急程度划分，优先在私有云中为这些任务合理的分配资源执行，提高私有云利用效率，如果私有云资源无法满足工作流的截止时间约束，则考虑任务的多个QoS约束将该工作流进行划分形成子工作流，然后调度子工作流到公有云中执行，为子工作流分配合理的公有云资源，在保证工作流QoS需求的同时最小化系统整体的费用支出。具体步骤如下：1)由于不同用户的工作流QoS需求不相同，特别是截止时间约束不同，为了尽量满足不同用户的需求，本专利技术首先对同时到来的工作流任务计算相对紧急程度，公式如下：urgentjobi＝(WDTjobi-WETjobi)/(WDTjobi-WSTjobi)(1)公式(1)中WDTjobi表示工作流截止时间，WETjobi表示根据当前时刻的实际资源状态估计得到的工作流结束时刻，WSTjobi表示工作流开始调度的时刻，通过该公式对各工作流进行调度顺序的排序。2)由于工作流内部是由许多子任务构成，因此当系统资源紧缺时子任务的调度顺序也将影响工作流的执行，为了使工作流能够尽量在其截止时间之前执行完，并调高资源的使用效率，对工作流内部的子任务同样进行了优先级排序，公式如下：公式(2)通过向上递归的方式计算工作流内部各子任务的优先级Nrank(ti)，它充分体现了各子任务在整个工作流中的重要性区别，然后根据该优先级制定子任务之间的先后调度顺序。3)基于上述1)和2)，本专利技术提出了一种针对私有云中动态多工作流的调度执行算法MIHEFT(MoveandInsertbasedHeterogeneousEarliestFinishTime)算法，它能够充分的利用云资源，将任务“紧密的”排列在等待队列中，减小资源等待的浪费，提高其利用效率。4)对混合云中的动态多工作流进行调度执行时，优先使用3)中的算法为工作流在私有云中分配资源执行，当私有云中的资源不能满足工作流的QoS需求时，考虑工作流的通信开销(如公式(3))，IO开销(如公式(4))，执行开销(如公式(5))，安全开销(如公式(6))等，将工作流进行分割，然后调度部分子工作流到公有云中执行。5)对于调度到公有云中执行的子工作流，为了充分利用公有云资源，首先尝试在已租用的公有云资源中为任务寻找可用资源，如果未找到合适资源，则考虑计算成本、数据通信成本和安全服务成本后为任务分配最“经济”的公有云资源，减小系统整体费用支出。本专利技术的有益效果是，通过混合云环境下动态多工作流调度费用优化策略，为用户向系统中提交的每一个工作流分配合适的资源，在尽量保证工作流多个QoS需求的同时，提高私有云和公有云资源的使用效率，减小公有云的租用，最小化系统整体的费用支出。附图说明图1本专利技术流程示意图。图2混合云下动态多工作流整体调度框架。图3使用不同调度算法调度执行多工作流实例对比。图4不同数量工作流执行费用开销对比。具体实施方式附图1是本专利技术的策略流程示意图。实施流程如附图1所示：(1)本专利技术的整体调度框架如图2所示，用户向系统中不断提交工作流任务，调度器优先为工作流分配私有云资源，当私有云资源不足时再租用公有云资源。(2)搜索系统中的工作流任务池，如果存在还未分配资源的工作流，当这些工作流个数超过一个时，计算它们的相对紧急程度urgent，然后进行排序等待调度；接着对工作流内部的子任务计算优先级Nrank，并根据该优先级制定子任务的调度顺序。(3)在私有云中调度执行时，采用MIHEFT为各工作流子任务预分配资源，具体分配方式如图3实例所示。如果制定的调度执行方案能够使工作流在其截至时间内完成，则直接按照该调度方案执行，如果超出截止时间，则需要将工作流分割成子工作流，调度部分子工作流到公有云中执行。(4)对于调度到公有云中执行的任务，优先选择最“经济”的资源，如果依然无法满足工作流的需求，则进一步划分工作流，调度更多子任务到公有云中，直到工作流能够在截止时间内完成。(5)重复执行上述过程，为系统中新提交的工作流分配资源调度执行。最后，通过在模拟实验平台WorkflowSim上进行实验对比，本专利技术与Greedy算法、HCOC算法和MLF_ID算法进行对比，分别执行了100和200个工作流任务，最终系统的总费用开销如图4所示，可以看出本专利技术较其他几个算法在执行费用上占优。本文档来自技高网...

【技术保护点】
一种混合云环境中动态多工作流调度执行的费用优化方法，可以根据不同工作流的QoS需求合理的安排它们的调度顺序，同时提高私有云资源利用效率，减少公有云资源的租用，有效降低系统整体的费用支出。

【技术特征摘要】
1.一种混合云环境中动态多工作流调度执行的费用优化方法，可以根据不同工作流的QoS需求合理的安排它们的调度顺序，同时提高私有云资源利用效率，减少公有云资源的租用，有效降低系统整体的费用支出。2.根据权1所述的一种混合云环境中动态多工作流调度执行的费用优化方法，其特征在于对动态到来的多工作流执行请求根据公式(1)计算它们的相对紧急程度，对工作流内部的子任务根据公式(2)计算合理的优先级，优先将工作流调度到私有云中执行，在保证工作流QoS需求的同时提高私有云资源利用效率。urgentjobi＝(WDTjobi-WETjobi)/(...

【专利技术属性】
技术研发人员：彭舰，李亮亮，黎红友，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51