云计算环境下Web应用的资源动态调度方法技术

本发明专利技术公开了一种云计算环境下Web应用的资源动态调度方法，考虑了用户请求的动态变化、应用的时延要求、云资源的异构性、竞价实例价格波动等。该方法包括：A）基于负载预测和应用的时延要求确定最佳资源量；B）基于竞价实例价格预测选择成本最低的竞价类型；C）采用预租赁减少资源请求和创建所造成的时延增加。步骤A的主要特点是将预测负载作为排队模型的到达率，结合应用的时延约束，求解所需租赁的最小虚拟机数量；步骤B的主要特点是基于价格预测选择预测成本最低的竞价类型进行租赁；步骤C的主要特点是在计费点到达前进行预租赁。本发明专利技术通过负载预测、应用时延约束、价格预测和预租赁来实现资源动态调度，能够在保证应用性能的同时降低云资源租赁成本。

Dynamic Resource Scheduling Method for Web Applications in Cloud Computing Environment

【技术实现步骤摘要】
云计算环境下Web应用的资源动态调度方法
本专利技术属于云计算资源调度
，特别是一种云计算环境下Web应用的资源动态调度方法。
技术介绍
作为新兴的计算服务模型，云计算利用虚拟化技术使得计算资源池化和共享化，提升了计算能力、降低了资源管理开销，使云用户能够即付即用、动态按需租赁。由于弹性高效、便捷廉价，云计算已被广泛应用于数据分析和科学计算等领域。中小企业按照需求租赁云计算硬件和软件资源，解决了其处理海量数据和计算密集型应用时所面临的系统成本投资高、部署任务耗时长等瓶颈，使得企业能够更专注于业务逻辑及软件开发。对于云用户来说，实现计算或存储任务与所租赁的资源类型及规模之间的合理映射是保证应用性能、减少资源租赁成本的关键。云资源提供商根据处理器、性能特点和存储容量等标准为用户提供多种类型的虚拟机。采用不同的计费模式，虚拟机又分为按需实例、保留实例和竞价实例。云实例通常按小时计费。价格固定的按需资源成本高昂，稳定性高；竞价实例是基于拍卖的形式，价格随市场需求随机波动，具有极低的价格，但存在竞标失败引起的虚拟机失效风险。若用户资源租赁规模较小，会导致应用响应时间过长、系统性能下降；反之则造成虚拟机资源浪费、租赁成本过高。因此云用户急需一种有效的资源动态供应方法，来求解最佳的资源租赁类型和数量，以保证系统性能的前提下最小化资源租赁成本。处理用户实时提交请求的应用被称为在线应用，云计算在线应用可以主要分为两种不同类型：交互式应用、海量数据处理或计算密集型应用。基于Web的应用属于交互式应用，其特点是任务请求数量多、单个任务资源需求量少。就单层的Web应用而言，到达系统的相互独立的请求任务可根据到达时间或任务优先级等被分派到虚拟机上并行执行，该过程可用排队知识进行建模。多层Web应用可建模为多个级联的排队模型。在实际运用中，需要考虑Web应用负载的动态变化以及竞价实例价格的随机波动，同时还需要考虑虚拟机的请求时间和建立时间，这些都给云资源动态供应和调度方法的制定带来了挑战。目前已有诸多方法和项目专注于解决云环境下Web应用的资源调度问题，但是这些方法中大多是基于云实例同构的假设，很少涉及含有竞价实例的异构资源系统。
技术实现思路
本专利技术的专利技术目的在于提供一种云计算环境下Web应用的资源动态调度方法。现有针对Web应用的云资源动态供应方法大多基于价格固定的按需实例，忽略了价格极低的竞价实例。本专利技术提出的云环境下Web应用的弹性资源供应方法，设计基于竞价实例价格预测和预租赁的异构资源租赁模型，以保证系统性能，同时减少资源租赁成本。技术方案：一种云计算环境下的Web应用资源调度方法，包括以下步骤：A.基于负载预测和时延要求确定最佳资源量：利用时间序列分析方法建立负载预测模型；将预测负载作为排队系统的到达率，构建多服务台排队模型；将时延要求作为参数，反推出满足时延要求的最小虚拟机数量；B.基于竞价价格预测调整异构资源租赁策略：根据步骤A得到所需最小资源量，寻找最佳的按需实例和竞价实例组合租赁方案；选择竞价类型时，利用价格预测租赁预测成本最低的竞价类型；C.基于预租赁减少响应时间震荡：在实例计费点到达之前触发该事件，调用步骤A和步骤B来得到最佳租赁方案，对比系统当前的租赁情况，对新增的实例资源进行预租赁，将要释放的资源添加到释放列表，在真正的计费点到达时进行释放。所述步骤A中基于负载预测的排队模型及时延约束来确定系统所需最小资源量的具体步骤包括：A1.对应用请求数据进行预处理，得到按分钟统计的请求数量的时间序列；A2.选择负载预测模型参数，对请求时间序列做平稳性、自回归和偏自回归检验，选择合适的差分阶数、自回归系数和偏自回归系数，建立自回归滑动平均求和模型；A3.进行负载预测，利用步骤A2得到的模型进行负载预测，选择当前时间窗口的历史数据训练模型得到自回归系数和滑动平均系数，预测未来间隔内的请求到达数量；A4.构建排队模型，将步骤A3得到的预测负载作为排队模型的到达率，假设请求的到达时间间隔及虚拟机的处理时间间隔均服从指数分布，构建多服务窗的排队模型；A5.计算系统所需最小资源量，首先基于步骤A4建立的排队模型，得到应用时延与虚拟机数量之间的关系，其中、，，是资源系统中给定的按需资源的处理能力，是虚拟机数量；接着计算最小虚拟机数量，排队系统要求，则对应最大时延；再计算最小时延，是系统允许的最大虚拟机数量，因此；构建函数,其中是应用给定的时延条件，当时，利用R提供的函数，求出虚拟机数量使得，即为满足时延要求的最小虚拟机数量，则所需最小资源量为。所述步骤B中，包括：B1.基于步骤A所获得的最小资源量且按需虚拟机的数量给定时，根据当前系统状态计算租赁竞价类型最小和最大组数为、，代表当前系统中已租赁的竞价类型组，是容错水平，代表所有竞价类型数，是系统设置允许租赁的最大竞价类型组数；B2.初始化策略候选集为空，初始化；B3.如果，是转步骤B4，否则转步骤B14；B4.初始化当前查找的策略为空，，计算当前按需资源成本，为每台按需虚拟机的价格，添加到策略中，再计算新增租赁的竞价类型组数和每组竞价实例组应满足的资源需求，其中，是每台按需实例具有的资源；B5.计算每一种已租赁的竞价实例类型需要的虚拟机数量及成本，添加到租赁策略中；B6.判断是否成立，成立则当前的方案不需要额外租赁竞价实例组，转步骤B12，否则转步骤B7；B7.计算每种未租赁的竞价实例类型的投标,，为所需资源均由按需实例提供的费用，为满足资源需求的竞价类型的实例数量；B8.预测竞价类型的实例价格，分析竞价实例价格历史，对其进行平稳性、自回归和偏自回归检验，选择合适的差分阶数、自回归系数和偏自回归系数，建立自回归滑动平均求和模型，以当前窗口的价格数据训练模型，基于训练的模型预测未来时刻的价格，选择投标价格大于其预测价格的实例类型添加到可用竞价类型列表，根据竞价实例组的资源要求，计算相应竞价类型的成本；B9.将中可用的竞价类型按照其租赁成本进行升序排序，得到；B10.判断可用的竞价类型数是否大于当前查找策略所需要的实例组数，是则转步骤B11，否则转步骤B13；B11.选择中前个成本较低的竞价类型，添加到租赁策略；B12.将添加到租赁策略候选集中；B13.，转到步骤B3；B14.如果，则转步骤B15，否则转步骤B16；B15.返回租赁策略候选集中成本最低的策略，退出；B16.返回空，退出。所述步骤C中，包括：C1.获取即将到达计费点的实例类型；C2.判断实例类型，如果是按需实例类型转步骤C3，否则转步骤C9；C3.判断按需资源能否满足最低比例要求，是转步骤C4，否则转步骤C16；C4.假设从资源方案中删除当前按需实例，计算剩余的按需资源；C5.判断剩余资源能否满足按需资源要求，即，能转步骤C6，否则转步骤C16；C6.分别查找继续租赁和释放当前实例两种情况下的最佳租赁方案与，计算相应成本和；C7.若，转步骤C8，否则转步骤C16；C8.根据更新当前策略，需要预租赁的资源发送租赁请求，转步骤C15；C9.判断当前实例是否为孤儿实例，是转步骤C15，否则转步骤C10；C10.获取当前实例所在实例组的类型；C11.假设从资源方案中删除当前实例，计算其所在的实例组的剩余资源；C本文档来自技高网...

【技术保护点】
1.一种云计算环境下Web应用的资源动态调度方法，其特征在于，该方法包括以下步骤：A. 基于负载预测和时延要求确定最佳资源量：利用时间序列分析方法建立负载预测模型；将预测负载作为排队系统的到达率，构建

【技术特征摘要】
1.一种云计算环境下Web应用的资源动态调度方法，其特征在于，该方法包括以下步骤：A.基于负载预测和时延要求确定最佳资源量：利用时间序列分析方法建立负载预测模型；将预测负载作为排队系统的到达率，构建多服务台排队模型；将时延要求作为参数，求解出满足时延要求的最小虚拟机数量；B.基于竞价实例价格预测调整异构资源租赁策略：根据步骤A得到所需最小资源量，寻找最佳的按需实例和竞价实例组合租赁方案；选择竞价实例类型时，利用竞价实例价格预测选择预测成本最低的竞价类型；C.基于预租赁减少响应时间振荡：在实例计费点到达前，调用步骤A和步骤B预测下一时刻系统的最佳租赁方案，对比系统当前的租赁情况，对下一时刻需要新增的实例资源提前租赁，将要释放的资源添加到释放列表，在真正的计费点到达时进行释放。2.如权利要求1所述的云计算环境下Web应用的资源动态调度方法，其特征在于，所述步骤A中包括:A1.对应用请求数据进行预处理，得到按分钟统计的请求数量的时间序列；A2.选择负载预测模型参数，对请求时间序列做平稳性、自回归和偏自回归检验，选择合适的差分阶数、自回归系数和偏自回归系数，建立自回归滑动平均求和模型；A3.进行负载预测，利用步骤A2得到的模型进行负载预测，选择当前时间窗口的历史数据训练模型得到自回归系数和滑动平均系数，预测未来间隔内的请求到达数量；A4.构建排队模型，将步骤A3得到的预测负载作为排队模型的到达率,，假设请求的到达时间间隔及虚拟机的处理时间间隔均服从指数分布，构建多服务窗的排队模型,其中第一个M代表请求的到达时间间隔服从指数分布，第二个M代表虚拟机的处理时间间隔服从指数分布，S代表虚拟机数量；A5.计算系统所需最小资源量，首先基于步骤A4建立的排队模型，得到应用时延与虚拟机数量之间的关系，，其中、，，是资源系统中给定的按需资源的处理能力，是虚拟机数量；接着计算最小虚拟机数量，由于排队系统要求，因此取最小的虚拟机数量为，则对应最大时延，；再计算最小时延，是系统允许的最大虚拟机数量，因此；构建函数,其中是应用给定的时延条件，当时，利用R提供的函数，求出虚拟机数量使得，即为满足时延要求的最小虚拟机数量，则所需最小资源量为。3.如权利要求1所述的云计算环境下Web应用的资源动态调度方法，其特征在于，所述步骤B中包括：B1.基于步骤A所获得的最小资源量且按需虚拟机的数量给定时，根据当前系统状态计算租赁竞价类型最小和最大组数为、，代表当前系统中已租赁的竞价类型组，是容错水平，代表所有竞价类型数，是系统设置允许租赁的最大竞价类型组数；B2.初始化策略候选集为空，初始化；B3.判断是否成立，是转步骤B4，否则转步骤B14；B4.初始化当前查找的策略为空，计算当前按需资源成本，为每台按需虚拟机的价格，添加到策略中，再计算新增租赁的竞价类型组数和每组竞价实例组应满足的资源需求，其中，是每台按需实例...

【专利技术属性】
技术研发人员：刘段，蔡志成，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32