一种移动边缘计算环境下面向工作流的容错调度方法技术

本发明专利技术公开了一种移动边缘计算环境下面向工作流调度的容错方法。本发明专利技术步骤：构建移动边缘环境下容错调度框架；建立故障模型；计算复制延迟执行机制和检查点延迟执行机制所需的计算资源；当服务工作流任务到达时，首先将任务放在工作流队列中并且按照先到先服务策略执行，容器调度器判断工作流是否执行执行；选择最佳的容错策略，如果找不到任何调度方案来满足任务的子完工时间，则拒绝执行整个工作流应用；6、如果步骤5没有足够虚拟机执行任务，则采用资源扩展策略新开虚拟机满足资源要求；步骤7、当工作流完成时，则通过资源缩减策略提高资源利用率。本发明专利技术在满足工作流的时间约束和存在VM故障情况下使得MEC的资源利用率最大化。

A fault tolerant scheduling method for workflow in mobile edge computing environment

【技术实现步骤摘要】
一种移动边缘计算环境下面向工作流的容错调度方法
本专利技术涉及移动边缘计算领域，具体涉及一种移动边缘计算环境下面向工作流调度的容错方法。
技术介绍
随着通信、网络和智能产品的发展，如手机、平板和笔记本等移动便携式的用户设备(UserEquipment，UE)越来越受欢迎。新型移动应用如人脸识别、自然语言处理、增强现实等不断涌出，引起了人们的广泛关注。这些移动应用的执行需要较高的计算资源，并消耗较大的电力能源。然而移动设备由于物理尺寸的限制，通常只具有有限的计算能力和电量。因此，如何在资源受限的移动设备上高效地运行新型移动应用是当前移动网络环境下的一个挑战。移动边缘计算(MobileEdgeComputing，MEC)的出现为该问题的解决提供了新的平台和机遇。MEC通过与内容提供商和应用开发商深度合作，在靠近移动用户侧就近提供内容存储计算及分发服务，使应用、服务和内容部署在高度分布的环境中，以更好地满足低延时的需要。所以在MEC环境中，执行计算和存储的服务器都部署在网络边缘，MEC服务器通过网络功能虚拟化(NetworkFunctionsVirtualization，NFV)技术产生多个虚拟机(VirtualMachines，VM)来并行执行不同的计算任务。用户设备通过将移动应用的一部分任务卸载到虚拟机上执行，来提高移动应用的服务质量以及减少UE的能源消耗。一个移动应用一般包括多个任务，任务之间存在先序和数据依赖关系，这些任务可以建模成一个工作流。与并行任务相比，MEC环境下的工作流应用调度问题更具有复杂性和挑战性，比如任务的执行顺序以及执行位置都会对移动应用的完成时间和能耗产生重大影响。可靠性需求是最重要的服务质量(QualityofService，QoS)评价标准之一，在MEC下工作流调度应该满足可靠性需求。随着MEC的功能和系统复杂度增加，MEC在可靠性方面存在挑战。这是因为通过NFV技术虚拟化的VM会以一定的概率发生故障，这种故障是一种可以在短时间内恢复的软件故障。服务工作流应用如网页加速、人脸识别和虚拟现实，不仅需要执行准确还要保证较低的时延。如果执行任务时发生了VM故障，则需要重新执行该任务，这不可避免推迟了任务的完成时间，影响了服务质量。容错技术可以满足系统的可靠性需求，然而不合理的容错策略将会使用较多的资源，这不仅影响了服务质量而且会增加MEC服务器的负载。然而，现有的容错方法只考虑主机故障忽略了VM故障
技术实现思路
本专利技术针对现有方法的不足，提出了一种移动边缘计算环境下面向工作流的容错调度算法。本专利技术所提出一种移动边缘计算环境下面向工作流的容错调度方法，其实现过程中使用有故障模型、容错机制和资源动态调整策略。故障模型测量了虚拟机的可靠性，构建了任务的服务时间和虚拟机故障的到达率计算的关系。容错机制包括了两种容错机制：复制延迟执行机制和检查点延迟执行机制。复制延迟执行机制是指通过复制方法产生多个任务副本然后并行执行任务副本。检查点延迟执行机制是指将任务任意地分割成独立的块，每个块成功执行后记录执行状态。与检查点延迟执行容错机制相比，复制延迟执行需要较多的计算资源较少执行时间。资源动态调整策略由资源扩展和资源缩减组成。如果任务的主副本或者备份副本无法映射到现有的虚拟机，则资源扩展策略需要从现有活动主机创建一组新的虚拟机来执行多个任务副本。当虚拟机短时间空闲则通过动态电压频率调节以降低计算资源和能耗，如果虚拟机长时间处于空闲状态，则会关闭虚拟机以提高资源利用率。本专利技术的具体步骤如下：一种移动边缘计算环境下面向工作流调度的容错方法，包括如下步骤：步骤1、构建移动边缘环境下容错调度框架；步骤2、建立故障模型；通过任务的服务时间和故障到达率计算虚拟机的可靠性；步骤3、计算复制延迟执行机制所需计算资源；复制延迟执行机制是通过复制方法产生多个任务副本，然后并行执行这些副本；任务副本分为主副本和备份副本，主副本的执行结果分为成功和失败，通过计算概率统计整个的复制延迟执行的所需的期望计算资源；步骤4、计算检查点延迟执行机制所需的计算资源；检查点延迟执行机制的任务执行时间主要由数据接受时间、块执行时间、检查点时间、虚拟机恢复时间和数据传输时间组成；通过计算任务的执行时间得到采用该机制的计算资源；步骤5、当一批服务工作流任务到达时，首先将任务放在工作流队列中并且按照先到先服务策略执行，容器调度器判断工作流是否执行执行；根据步骤3和步骤4选择最佳的容错策略，如果找不到任何调度方案来满足任务的子完工时间，则拒绝执行整个工作流应用；步骤6、如果步骤5没有足够虚拟机(VM)执行任务，则采用资源扩展策略新开虚拟机满足资源要求；步骤7、当工作流完成时，则通过资源缩减策略提高资源利用率。当一批服务工作流任务到达时，首先放入到工作流队列中并且按照先到先服务策略执行；然后调度器分析工作流的结构，并将截止时间分成若干个子完工时间；子完工时间表示分配给任务的执行时间，首先将服务工作流中任务映射到最大计算单元CU(K)执行；然后根据下面公式计算任务tj的最小执行时间；假设工作流的任务都在VM(K)上执行，公式(1)能够计算得到整个工作流的最短完工时间通常服务工作流的指定期限TDL必须大于等于最短完工时间，即因此任务ti的子完工时间定义如公式(2)所示，由公式(2)可知如果每个任务的执行时间小于其子完工时间，那么整个工作流的完工时间将不会超过截止时间；VM在执行服务工作流任务时可能发生故障导致任务执行失败；通过使用可用的故障信号和测试用例能够立即检测VM的故障；假设VM在任务执行过程中遇到多个故障，通过应用恢复机制在很短时间内恢复执行；VM的可靠性Pvm(T)根据下面的公式计算，其中T表示一个任务服务时间，λvm表示VM故障的到达率且服从泊松分布；Pvm(T)＝exp(-λvm·T)(3)。所述的计算复制延迟执行机制是指通过复制方法产生多个任务副本然后并行执行任务副本；假设复制系数为∈，∈是一个预设的很小的正整数，从而得到公式(4)不等式，其中N(ti)表示任务ti的副本的个数；公式(4)表示在采用复制技术情况下Nrepl(ti)个副本在VM上执行，成功的概率至少为1-∈；将N(ti)个任务副本划分为主副本和备份副本，其中主副本优先执行，然后执行备份副本，主副本和备份副本在不同的VM上执行，主副本的数量根据公式(5)计算，备份副本Nb(ti)可由公式(6)计算得到；Nb(ti)＝N(ti)-Np(ti)(6)所述的计算复制延迟执行机制有两种延迟执行的情况；第一种情况：当Tserv(ti，VM(k))≤TsubM(ti)＜2·Tserv(ti，VM(k))时，备份副本在主副本执行过程中开始执行，如果有一个主副本执行成功，备份副本则立即停止执行；第二种情况：当TsubM(ti)≥2·Tserv(ti，VM(k))时，如果所有的主副本执行失败本文档来自技高网...

【技术保护点】
1.一种移动边缘计算环境下面向工作流调度的容错方法，其特征在于包括如下步骤：/n步骤1、构建移动边缘环境下容错调度框架；/n步骤2、建立故障模型；/n通过任务的服务时间和故障到达率计算虚拟机的可靠性；/n步骤3、计算复制延迟执行机制所需计算资源；/n复制延迟执行机制是通过复制方法产生多个任务副本，然后并行执行这些副本；任务副本分为主副本和备份副本，主副本的执行结果分为成功和失败，通过计算概率统计整个的复制延迟执行的所需的期望计算资源；/n步骤4、计算检查点延迟执行机制所需的计算资源；/n检查点延迟执行机制的任务执行时间主要由数据接受时间、块执行时间、检查点时间、虚拟机恢复时间和数据传输时间组成；通过计算任务的执行时间得到采用该机制的计算资源；/n步骤5、当一批服务工作流任务到达时，首先将任务放在工作流队列中并且按照先到先服务策略执行，容器调度器判断工作流是否执行执行；根据步骤3和步骤4选择最佳的容错策略，如果找不到任何调度方案来满足任务的子完工时间，则拒绝执行整个工作流应用；/n步骤6、如果步骤5没有足够虚拟机(VM)执行任务，则采用资源扩展策略新开虚拟机满足资源要求；/n步骤7、当工作流完成时，则通过资源缩减策略提高资源利用率。/n...

【技术特征摘要】
1.一种移动边缘计算环境下面向工作流调度的容错方法，其特征在于包括如下步骤：
步骤1、构建移动边缘环境下容错调度框架；
步骤2、建立故障模型；
通过任务的服务时间和故障到达率计算虚拟机的可靠性；
步骤3、计算复制延迟执行机制所需计算资源；
复制延迟执行机制是通过复制方法产生多个任务副本，然后并行执行这些副本；任务副本分为主副本和备份副本，主副本的执行结果分为成功和失败，通过计算概率统计整个的复制延迟执行的所需的期望计算资源；
步骤4、计算检查点延迟执行机制所需的计算资源；
检查点延迟执行机制的任务执行时间主要由数据接受时间、块执行时间、检查点时间、虚拟机恢复时间和数据传输时间组成；通过计算任务的执行时间得到采用该机制的计算资源；
步骤5、当一批服务工作流任务到达时，首先将任务放在工作流队列中并且按照先到先服务策略执行，容器调度器判断工作流是否执行执行；根据步骤3和步骤4选择最佳的容错策略，如果找不到任何调度方案来满足任务的子完工时间，则拒绝执行整个工作流应用；
步骤6、如果步骤5没有足够虚拟机(VM)执行任务，则采用资源扩展策略新开虚拟机满足资源要求；
步骤7、当工作流完成时，则通过资源缩减策略提高资源利用率。


2.根据权利要求1所述的一种移动边缘计算环境下面向工作流调度的容错方法，其特征在于
当一批服务工作流任务到达时，首先放入到工作流队列中并且按照先到先服务策略执行；然后调度器分析工作流的结构，并将截止时间分成若干个子完工时间；子完工时间表示分配给任务的执行时间，首先将服务工作流中任务映射到最大计算单元CU(K)执行；然后根据下面公式计算任务ti的最小执行时间；



假设工作流的任务都在VM(K)上执行，公式(1)能够计算得到整个工作流的最短完工时间通常服务工作流的指定期限TDL必须大于等于最短完工时间，即因此任务ti的子完工时间定义如公式(2)所示，由公式(2)可知如果每个任务的执行时间小于其子完工时间，那么整个工作流的完工时间将不会超过截止时间；





3.根据权利要求2所述的一种移动边缘计算环境下面向工作流调度的容错方法，其特征在于
VM在执行服务工作流任务时可能发生故障导致任务执行失败；通过使用可用的故障信号和测试用例能够立即检测VM的故障；假设VM在任务执行过程中遇到多个故障，通过应用恢复机制在很短时间内恢复执行；VM的可靠性Pvm(T)根据下面的公式计算，其中T表示一个任务服务时间，λvm表示VM故障的到达率且服从泊松分布；
Pvm(T)＝exp(-λvm·T)(3)。


4.根据权利要求3所述的一种移动边缘计算环境下面向工作流调度的容错方法，其特征在于
所述的计算复制延迟执行机制是指通过复制方法产生多个任务副本然后并行执行任务副本；假设复制系数为∈，∈是一个预设的很小的正整数，从而得到公式(4)不等式，其中N(ti)表示任务ti的副本的个数；公式(4)表示在采用复制技术情况下Nrepl(ti)个副本在VM上执行，成功的概率至少为1-∈；



将N(ti)个任务副本划分为主副本和备份副本，其中主副本优先执行，然后执行备份副本，主副本和备份副本在不同的VM上执行，主副本的数量根据公式(5)计算，备份副本Nb(ti)可由公式(6)计算得到；



Nb(ti)＝N(ti)-Np(ti)(6)
所述的计算复制延迟执行机制有两种延迟执行的情况；第一种情况：当Tserv(ti，VM(k))≤TsubM(ti)＜2·Tserv(ti，VM(k))时，备份副本在主副本执行过程中开始执行，如果有一个主副本执行成功，备份副本则立即停止执行；第二种情况：当TsubM(ti)≥2·Tserv(ti，VM(k))时，如果所有的主副本执行失败，备份副本才开始执行。


5.根据权利要求4所述的一种移动边缘计算环境下面向工作流调度的容错方法，其特征...

【专利技术属性】
技术研发人员：李忠金，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33