一种基于混合云的工作流成本-延迟最优化任务分配方法组成比例

本发明专利技术公开一种基于混合云的工作流成本‑延迟最优化任务分配方法，该方法包括以下步骤：步骤1：接受用户提交的一批带预算和软截止期的工作流应用，所有应用同时进入混合云环境下的多工作流调度系统；步骤2：确定初始任务调度序列；步骤3：资源分配阶段：为任务分配合适的虚拟机资源；步骤4：任务序列调整阶段：通过调整邻域不断扩大搜索范围，寻找最优Pareto解集。本发明专利技术不仅可以使具体任务的调度执行更为合理有效，同时能使云计算资源的分配更为公平节约，最终可促进整个云计算市场朝着健康可持续的方向发展。

A Cost-Delay Optimal Task Assignment Method for Workflow Based on Hybrid Cloud

【技术实现步骤摘要】
一种基于混合云的工作流成本-延迟最优化任务分配方法
：本专利技术涉及一种基于混合云的工作流成本-延迟最优化任务分配方法，属于云计算资源调度

技术介绍
：高性能科学计算、大规模仿真等会耗费巨大的存储和计算资源。同时，用户的请求通常是高度动态的，有着明显的潮汐效应，表现出巨大的峰值资源需求。由于laaS云本地资源的有限性、固定性，当用户请求高峰时期，laaS云本地资源不足，如何调度任务以满足用户的所有请求成为laaS云提供商面临的重大挑战之一。从laaS云提供商角度，当需求高峰时，如何满足用户的所有请求并保证服务质量这一问题还很少有文献研究，目前的解决办法有：（1）提供一种访问控制机制来拒绝超过云提供商处理能力的请求，然而这样会降低云提供商的吞吐量，并且会给云提供商带来利润的损失。（2）提前购买大量的设备，这对于一些大型云服务提供商是非常具有成本效益的模式，但是对于中小型云服务提供商并不是一个可行的策略。（3）使用云联盟的概念，云联盟可以很好得解决云提供商本地资源不足的问题，但云联盟的付诸实现需要云提供商之间制定协议和标准，目前还未有具体的标准和协议出现。但是，目前涌现出众多的云提供商，为资源整合提供了条件。当laaS云处于请求高峰时期时，云提供商的本地资源无法满足所有用户请求，可以从云提供商角度建立一种混合云的模式，快速将其请求分派给多个资源提供商，也就是将该laaS云看成是一个私有云，私有云提供对外部公有云的接口，当私有云的计算能力不足时，用户请求可以按照一定的策略分发到外部公有云执行。这种用公有云资源扩充私有云能力的方式可以用来处理预期的工作负荷高峰，相比上述几种方法，既减少了用户的拒绝率，又降低了购置大量设备的成本。混合云相比单云环境的复杂度更高，调度需要考虑的影响因素也更多。目前混合云下的调度研究多是从用户的角度出发，以满足用户任务的资源请求和QoS约束为目标，很少有从云提供商角度考虑，当用户需求高峰时如何满足用户所有请求并保证服务成本效益的研究。作为一种商业服务，云计算系统应尽可能地提高其服务收益水平。目前从云提供商角度考虑服务收益的调度研究中，调度的对象是单个独立应用，而不是具有依赖关系的工作流任务，资源类型上考虑的也多是同构情况。
技术实现思路
：本专利技术的目的是提供一种基于混合云的工作流成本-延迟最优化任务分配方法，区别于已有研究中用户总是尽可能地占用优质计算资源，在混合云环境中引入成本效益的概念，用户将不再滥用优质资源，取而代之的是，他们将根据自身任务需要和经费预算情况，自发理性地选择适合自身需求的计算资源。这种将经济学中市场机制引入云计算调度的做法不仅可以使具体任务的调度执行更为合理有效，同时能使云计算资源的分配更为公平节约，最终可促进整个云计算市场朝着健康可持续的方向发展。本专利技术的上述目的可通过以下技术方案来实现：一种基于混合云的工作流成本-延迟最优化任务分配方法，该方法包括如下步骤：步骤1：接受用户提交的一批带预算和软截止期的工作流应用，所有应用同时进入混合云环境下的多工作流调度系统；步骤2：确定初始任务调度序列：对提交的一批工作流应用，首先进行工作流应用排序，然后按照排好序的工作流应用调度序列依次为应用中的任务划分子截止时间并进行任务排序；步骤3：资源分配阶段：针对私有云的资源有限性和公有云租赁花费的问题，提出了权衡成本-延迟的虚拟机搜索规则,假定分别把任务调度至私有云和公有云，比较两种调度结果，为任务分配合适的虚拟机资源；步骤4：任务序列调整阶段：考虑到同一工作流应用存在多种拓扑序列，而不同的任务序列对最终的虚拟机分配方案有很大影响，使用变邻域算法进行任务序列的调整，通过调整邻域不断扩大搜索范围，寻找最优Pareto解集。所述的基于混合云的工作流成本-延迟最优化任务分配方法，步骤1中所述混合云环境下的多工作流调度系统包括私有云模块和外部公有云模块，私有云模块中有三个子模块：监视器、任务管理器和调度器；监视器负责监视资源池的状态获知可用资源数量；任务管理模块对提交的工作流应用生成任务调度序列，同时将排好序的任务提交到调度器；调度器从与外部公有云连接的接口中得到外部公有云的信息，通过查看请求管理器发送来的用户任务的特点、资源监视器的资源状态以及从接口中得到的外部云的价格模型，决定任务分配到哪些云提供商以达到私有云成本最小化和服务延迟最小化。所述的基于混合云的工作流成本-延迟最优化任务分配方法，步骤2中所述确定初始任务调度序列的具体方法是：步骤21.按照工作流应用的截止期升序和预算降序得到两个序列，对两个序列进行归一化加权，得到最终工作流应用的排序；步骤22.基于任务最大深度对工作流中任务划分子截止期；步骤23.计算工作流中每个任务的UpwardRank值，将任务根据UpwardRank的值降序排序，得到任务的初始调度序列。所述的基于混合云的工作流成本-延迟最优化任务分配方法，步骤3中所述资源分配的具体方法是：步骤31.假定把任务调度至私有云虚拟资源上，计算该任务在私有云各个虚拟机上的处理时间，并根据虚拟机资源的可用区间计算任务的最早结束时间ft,如果最早完成时间ft<任务子截止期d，考虑到私有云的成本效益，直接将该任务调度到私有云中能最快完成的虚拟机资源上；步骤32.如果调度至私有云资源上超出任务截止期时间，假定把该任务调度至公有云资源，根据公有云资源的价格模型和该任务在各资源上的完成时间，计算调度至公有云资源上的最小租赁费用；步骤33.比较该任务调度至私有云资源的超期惩罚f和调度至公有云的最小租赁费用c，如果f<c,该任务直接留在私有云资源上执行；否则，考虑租赁公有云资源，将任务调度至租赁费用最少的公有云虚拟机。有益效果：与现有技术相比，本专利技术综合考虑了成本和延迟两个因素，在虚拟机资源分配阶段，兼顾成本和时间选择合适的虚拟机资源，并且通过变邻域算法调整任务序列来优化解的质量。附图说明：图1是本专利技术实施例中工作流应用处理和资源分配流程图；图2是本专利技术实施例中权衡收益-延迟资源分配方法流程图。具体实施方式：下面结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。一种基于混合云的工作流成本-延迟最优化任务分配方法，该方法包括如下步骤：步骤1.接受用户提交的一批带预算和软截止期时间的工作流应用，所有应用同时进入混合云环境下的多工作流调度系统。所述步骤1中的混合云环境下的多工作流调度系统：包括两个核心模块：私有云模块和外部公有云模块，私有云模块中有三个子模块：监视器（Monitor）、任务管理器（RequestManagement）和调度器（Scheduler）。监视器负责监资源池的状态获知可用资源数量。任务管理模块对提交的工作流应用生成任务调度序列，同时将排好序的任务提交到调度器。调度器从与外部公有云连接的接口中得到外部公有云的信息，通过查看请求管理器发送来的用户任务的特点、资源监视器的资源状态以及从接口中得到的外部云的价格模型，决定任务分配到哪些云提供商以达到私有云成本最小化和服务延迟最小化。步骤2.确定初始任务调度序列：对提交的一批工作流应用，首先进行工作流应用排序，然后按照排好序的工作流应用调度序列依次为应用中的任务本文档来自技高网...

【技术保护点】
1.一种基于混合云的工作流成本‑延迟最优化任务分配方法，其特征在于，该方法包括如下步骤：步骤1：接受用户提交的一批带预算和软截止期的工作流应用，所有应用同时进入混合云环境下的多工作流调度系统；步骤2：确定初始任务调度序列：对提交的一批工作流应用，首先进行工作流应用排序，然后按照排好序的工作流应用调度序列依次为应用中的任务划分子截止期并进行任务排序；步骤3：资源分配阶段：针对私有云的资源有限性和公有云租赁花费的问题，提出权衡成本‑延迟的虚拟机搜索规则,假定分别把任务调度至私有云和公有云，比较两种调度结果，为任务分配合适的虚拟机资源；步骤4：任务序列调整阶段：使用变邻域算法进行任务序列的调整，通过调整邻域不断扩大搜索范围，寻找最优Pareto解集。

【技术特征摘要】
1.一种基于混合云的工作流成本-延迟最优化任务分配方法，其特征在于，该方法包括如下步骤：步骤1：接受用户提交的一批带预算和软截止期的工作流应用，所有应用同时进入混合云环境下的多工作流调度系统；步骤2：确定初始任务调度序列：对提交的一批工作流应用，首先进行工作流应用排序，然后按照排好序的工作流应用调度序列依次为应用中的任务划分子截止期并进行任务排序；步骤3：资源分配阶段：针对私有云的资源有限性和公有云租赁花费的问题，提出权衡成本-延迟的虚拟机搜索规则,假定分别把任务调度至私有云和公有云，比较两种调度结果，为任务分配合适的虚拟机资源；步骤4：任务序列调整阶段：使用变邻域算法进行任务序列的调整，通过调整邻域不断扩大搜索范围，寻找最优Pareto解集。2.根据权利要求1所述的基于混合云的工作流成本-延迟最优化任务分配方法，其特征在于，步骤1中所述混合云环境下的多工作流调度系统包括私有云模块和外部公有云模块，私有云模块中有三个子模块：监视器、任务管理器和调度器；监视器负责监视资源池的状态获知可用资源数量；任务管理模块对提交的工作流应用生成任务调度序列，同时将排好序的任务提交到调度器；调度器从与外部公有云连接的接口中得到外部公有云的信息，通过查看请求管理器发送来的用户任务的特点、资源监视器的资源状态以及从接口中得到的外部云的价格模型，决定任务分配到哪些云提供商以达到私有云成本最...

【专利技术属性】
技术研发人员：李小平，许静文，朱夏，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32