一种云资源动态伸缩方法及系统技术方案

本发明专利技术提供一种云资源动态伸缩方法及系统，获取虚拟数据中心每个服务节点集群以及相应虚拟单元上的用户负载；根据历史的负载信息，构建基于模型组合的负载预测模型；构建基于强化学习的决策模型，确定模型的状态、动作，奖赏函数和状态动作值函数定义；配置用于确定云资源调整方案和概率贪心选择策略的决策算法，并确定未来负载周期下的动作；构建云资源动态伸缩执行体，对虚拟单元进行调整。本发明专利技术能够在随机、开放的云环境中构建精确的负载预测模型，设计自适应的云资源动态伸缩策略，解决公有云环境下大规模服务系统云资源供应不足和浪费所导致的服务质量下降和供应成本增加的问题，降本增效。降本增效。降本增效。

【技术实现步骤摘要】
一种云资源动态伸缩方法及系统


[0001]本专利技术属于云计算领域，尤其涉及一种云资源动态伸缩方法及系统。

技术介绍

[0002]随着互联网和现代服务业的快速发展，服务系统已经在政府、商业和教育等领域获得广泛部署和应用。服务系统属于典型的交互密集型Web应用，其具有用户规模大、数据量增长速度快以及负载波动性强等特点。为了保证系统的性能，服务提供商需要不断加大IT基础设施的投入，然而扩展企业本地数据中心存在运营成本高、资源利用率低、维护困难等问题。据统计显示，大多数企业数据中心的资源利用率在15％以下，还有的不到5％。由于服务系统的负载波动性较大，导致在空闲时段数据中心存在大量剩余资源，造成能耗的巨大浪费。
[0003]云计算的出现为解决上述问题提供了契机。云计算以虚拟化技术为基础，将计算、存储、网络等资源以即付即用的方式交付给用户使用的一种新型计算模式。基于云计算的低成本、高可用以及按需使用的优势，越来越多的服务提供商开始将其服务系统向公有云中迁移。目前，大多数云提供商都采用分级付费的商业模式，其要求用户在使用云服务前首先要根据自己的业务需求确定所要租用的云资源种类和数量。由于大规模服务系统负载的波动性导致其资源需求也是动态变化的，因此，在实际操作中，常常面临着如何调整用户的云资源使用量，来保证在满足用户服务质量需求的前提下最小化云资源供应，为服务提供商带来最大的收益。
[0004]针对当前云资源动态伸缩的问题，相关部门和企业虽然对云计算服务模式进行了研究和调整，但是仍然存在以下3点不足：
[0005](1)现有的云资源动态伸缩的应用场景往往是在私有云环境或者公有云环境的小规模服务系统上。虽然提出的方法在上述环境中有着不错的效果，但是很难满足更加复杂的公有云环境下大规模服务系统服务质量需求。
[0006](2)针对负载预测，目前已经提出了很多方法，然而这些预测方法仅考虑与当前时间段相近时段的负载数据，而忽略了不同负载周期在同一时段的历史负载信息，导致负载预测的精度偏低。
[0007](3)在云资源伸缩决策方面，现有研究工作主要集中在经济模型、评估方法等方面，而对于何时伸缩、如何伸缩等关键问题研究比较少，因此很难满足大规模服务系统在云资源动态伸缩方面的实际需求。

技术实现思路

[0008]本专利技术提供一种基于负载预测和强化学习的云资源动态伸缩方法，能够构建基于模型组合的预测模型和基于强化学习的决策模型，利用基于概率的贪心决策算法确定云资源调整动作，制定最优的云资源动态伸缩策略，实现云资源的智能化动态伸缩。
[0009]方法包括如下步骤：
[0010]S1：获取虚拟数据中心的每个服务节点集群以及相应虚拟单元上的用户负载；
[0011]S2：根据历史的负载信息，构建基于模型组合的负载预测模型；
[0012]S3：构建基于强化学习的决策模型，确定模型的状态、动作，奖赏函数和状态动作值函数定义；
[0013]S4：配置用于确定云资源调整方案的基于概率的贪心选择策略的决策算法，确定未来负载周期下的动作；
[0014]S5：构建云资源动态伸缩执行体，对虚拟单元实例进行调整。
[0015]进一步需要说明的是，所述的虚拟数据中心定义为一组服务节点、服务节点集群以及它们之间的连接所构成的云资源供应方案；定义服务构件为一组服务及其之间依赖关系的封装，为满足服务需求，一个服务构件需要实例化为多个服务构件实例。
[0016]定义服务节点为部署服务构件实例的虚拟单元实例，部署相同服务构件的所有虚拟单元实例为服务节点集群其中，S＝{s1,s2,
…
,
k
}为用户请求的服务集合，VU＝{vu0,vu1,
…
,
m
}为虚拟单元的集合，vu0为控制节点的虚拟单元，vu
j
(j＝1,
…
,m)为服务节点的虚拟单元，m为服务节点的数量，不同服务节点的虚拟单元可能是相同的；定义用户服务集合S在虚拟单元vu
j
上的负载分布为：Δ
j
＝{λ
1j
,λ
2j
,
…
,λ
kj
}，其中λ
ij
(i＝1,2,..,k)为服务s
i
在虚拟单元vu
j
上的负载，则服务集群的负载分布为Δ＝{λ1,λ2,
…
,λ
k
}，其中
[0017]进一步需要说明的是，所述基于模型组合的负载预测模型包括短期负载预测模型、长期负载预测模型、负载残差预测模型和组合预测模型；
[0018]所述短期负载预测模型为其中，分别为负载周期T中时段t,t
‑
1,
…
,t
‑
m+1的实际负载，f
S
为短期负载预测方法，j为方法f
S
的阶数，是根据方法f
S
所预测的负载周期T中时段t+1的负载值。
[0019]所述长期负载预测模型为其中，为负载周期T
‑
1中时段t+1的实际负载值，为负载周期T
‑
2中时段t+1的实际负载值，
…
，为负载周期T
‑
i中时段t+1的实际负载值，f
L
为长期负载预测方法，i为方法f
L
的阶数，为根据方法f
L
所预测的负载周期T
‑
i中时段t+1的负载值。
[0020]所述负载残差预测模型为其中，其中，分别为负载周期T中时段t,t
‑
1,
…
,t
‑
j+1的负载预测残差，在这里，分别为负载周期T中时段t,t
‑
1,
…
,t
‑
j+1的负载预测值，f
E
为负载残差预测方法，j为方法f
E
的阶数，为根据方法f
E
所预测的负载周期T中时段t+1的负载预测残差值。
[0021]所述组合预测模型为其中，为根据短期预测模
型所产生的负载预测值，为根据长期预测模型所产生的负载预测值，为根据残差预测模型所产生的负载预测残差，F为组合预测方法，为根据方法F所预测的负载周期T中时段t+1的负载值。
[0022]进一步需要说明的是，所述基于强化学习的决策模型为基于负载周期的马尔可夫决策模型，定义S
c
为服务构件c的状态集合，服务构件c在负载周期T(T＝1,2,
…
)的时段t(t＝0,1,
…
,n)的状态可以定义为：其中，为部署服务构件c的虚拟单元vu
j
的数量；服务构件c在状态下的云资源供应能力为：其中，为虚拟单元vu
j
对于服务构件c的最大负载能力。设s
φ
...

【技术保护点】

【技术特征摘要】
1.一种云资源动态伸缩方法，其特征在于，方法包括：S1：获取虚拟数据中心每个服务节点集群以及相应虚拟单元上的用户负载；S2：根据历史的负载信息，构建基于模型组合的负载预测模型；S3：构建基于强化学习的决策模型，确定模型的状态和动作，并定义奖赏函数和状态动作值函数；S4：配置用于确定云资源调整方案和概率贪心选择策略的决策算法，并确定未来负载周期下的动作；S5：构建云资源动态伸缩执行体，对虚拟单元进行调整。2.根据权利要求1所述的云资源动态伸缩方法，其特征在于，所述步骤S1还包括：将所述虚拟数据中心定义为服务节点、服务节点集群以及为服务节点与服务节点集群之间连接所构成的云资源供应方案；将服务构件定义为一组服务及其之间依赖关系的封装，且一个服务构件实例化为多个服务构件实例；将服务节点定义为部署服务构件实例的虚拟单元实例，部署相同服务构件的所有虚拟单元实例为服务节点集群其中，S为用户服务集合，S＝{s1,s2,
…
,
k
}；VU为虚拟单元的集合，VU＝{vu0,vu1,
…
,vu
m
}；vu0为控制节点的虚拟单元，vu
j
(j＝1,
…
,m)为服务节点的虚拟单元，m为服务节点的数量，不同服务节点的虚拟单元是相同的；将用户服务集合S定义在虚拟单元vu
j
上，虚拟单元vu
j
的负载分布为：Δ
j
＝{λ
1j
,λ
2j
,
…
,λ
kj
}；其中λ
ij
(i＝1,2,..,k)为服务s
i
在虚拟单元vu
j
上的负载；服务节点集群的负载分布为Δ＝{λ1,λ2,
…
,λ
k
}，其中3.根据权利要求1所述的云资源动态伸缩方法，其特征在于，所述步骤S2中的基于模型组合的负载预测模型包括：短期负载预测模型、长期负载预测模型、负载残差预测模型和组合预测模型；所述短期负载预测模型为其中，分别为负载周期T中时段t,t
‑
1,
…
,t
‑
m+1的实际负载，f
S
为短期负载预测方法，j为短期负载预测方法f
S
的阶数，是根据短期负载预测方法f
S
所预测的负载周期T中时段t+1的负载值；所述长期负载预测模型为其中，为负载周期T
‑
1中时段t+1的实际负载值，为负载周期T
‑
2中时段t+1的实际负载值，
…
，为负载周期T
‑
i中时段t+1的实际负载值，f
L
为长期负载预测方法，i为方法f
L
的阶数，为根据方法f
L
所预测的负载周期T
‑
i中时段t+1的负载值；
所述负载残差预测模型为其中，分别为负载周期T中时段t,t
‑
1,
…
,t
‑
j+1的负载预测残差；分别为负载周期T中时段t,t
‑
1,
…
,t
‑
j+1的负载预测值，f
E
为负载残差预测方法，j为方法f
E
的阶数，为根据方法f
E
所预测的负载周期T中时段t+1的负载预测残差值；所述组合预测模型为其中，为根据短期预测模型所产生的负载预测值，为根据长期预测模型所产生的负载预测值，为根据残差预测模型所产生的负载预测残差，F为组合预测方法，为根据组合预测方法F所预测的负载周期T中时段t+1的负载值。4.根据权利要求1所述的云资源动态伸缩方法，其特征在于，所述步骤S3中的基于强化学习的决策模型为基于负载周期的马尔可夫决策模型，定义S
c
为服务构件c的状态集合；服务构件c在负载周期T，T＝1,2,
…
的时段t，t＝0,1,
…
,n的状态定义为：其中，为部署服务构件c的虚拟单元vu
j
的数量；服务构件c在状态下的云资源供应能力为：其中，为虚拟单元vu
j
对于服务构件c的最大负载能力；设s
φ
＝(0,0,
…
,0)为终止状态，其表示停止云资源的供应；和为分别负载周期T的初始状态和终止状态，且有即一个负载周期最后时段的状态也是下一个负载周期的初始状态。5.根据权利要求4所述的云资源动态伸缩方法，其特征在于，方法中，定义A
c
为服务构件c的动作集合，服务构件c在负载周期T，T...

【专利技术属性】
技术研发人员：孟凡超，卢阳，朴学峰，初佃辉，孟凡浩，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：