一种虚拟CDN的节能部署方法技术

技术编号:15441502 阅读:65 留言:0更新日期:2017-05-26 06:39
本发明专利技术公开了一种虚拟CDN的节能部署方法,根据虚拟CDN历史流量数据和控制器中的预测模型(ARIMA)预测下一时间段内的网络峰值流量,然后根据峰值流量计算下一时刻虚拟CDN系统规模。同时增加几台冗余服务器以纠正预测误差。通过负载均衡器将网络流量聚合到控制器计算所需的虚拟服务器下。如此,可以增加虚拟CDN系统的利用率,节省了因CDN系统利用率较高而消耗的能量。

Energy saving deployment method for virtual CDN

The present invention discloses such deployment method of virtual CDN, virtual CDN model according the historical traffic data and the controller (ARIMA) in the prediction of the next network peak flow period, and then calculate the next time the virtual CDN system according to the size of the peak flow. Several redundant servers are added to correct the prediction error. The network traffic is aggregated to the virtual server required by the controller through a load balancer. Thus, the utilization rate of the virtual CDN system can be increased, and the energy consumption due to the high utilization rate of the CDN system is saved.

【技术实现步骤摘要】
一种虚拟CDN的节能部署方法
本专利技术属于网络功能虚拟化
,更为具体地讲,涉及一种虚拟CDN的节能部署方法。
技术介绍
世界上的大型分布式系统通常由成千上百的部署在数据中心的服务器所组成。这些系统作为基础设施可以有效的支撑电子商务、网络新闻以及社交网络等业务。但是由于分布式系统中存在的大量服务器使得分布式系统的能量消耗也是非常巨大的。同时,巨大的能量消耗也增加了全球的碳排放,对环境造成了破坏。根据相关研究,一个由100000台服务器组成的大型分布式网络一年的能量消耗可为190000MWH。这些能量相当于十万个家庭一年的消耗量。内容分发网络CDN是大型分布式系统的典型代表。CDN网络的首要目的是通过将内容从远端服务器迁移到离终端用户较近的副本服务器上以提高网络性能。传统的CDN网络,例如Akamai,由上万台被部署在世界各地数据中心中的服务器所组成。通常传统的CDN网络中的服务器由防火墙、服务器、路由器、内容网关等所组成。这些部件冗余的组合在一起以满足网络的峰值流量,提高用户的服务体验。但研究显示,为了满足峰值流量而设计的CDN部件在非峰值的情况下平均负载率只有40%-60%。而传统的CDN部件通常是由专门的硬件设备所构成,这些专用的硬件的能耗是惊人的且硬件设备规模的动态变化是非常不便的。而在网络功能虚拟化环境下,CDN网络部件可以由专用的设备软件部署在通用的硬件服务器上,因此可以较容易的通过控制中心来动态调整软件的个数以适应动态变化的流量,达到节能的目的。对于网络流量预测问题,现有的研究很多。其中有一种叫做BP神经网络的网络流量预测方法。BP神经网络是仿生学或者人工智能方法。BP神经网络分为两个过程:(1)工作信号正向传递过程;(2)误差信号反向传递过程。在BP神经网络中,单个样本有m个输入,有n个输出,在输入层和输出层之间通常还有若干个隐含层。在1989年RobertHecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网络来逼近。所以一个三层的BP神经网络(输入层、隐含层和输出层)就可以完成任意的m维到n维的影射。对应到时间序列预测就有任意连续m个历史平均流量数据影射成接下来的n个时间段内的平均流量数据,因此可以应用BP神经网络预测网络流量。然而该技术存在如下缺点:(1)、BP神经网络的复杂度较大,收敛时间较长。(2)、预测的结果为下一时间段内的平均流量,以此为参照决定CDN规模可能导致无法有效的服务时间段内的超出平均值时刻的流量。(3)、就BP神经网络算法本身来说,隐含层的选取缺乏理论指导,训练时学习新样本有遗忘旧样本的趋势。在CDN节能方案中,有关研究直接将上一时间段的网络平均流量作为直接参考来决定接下一时段的网络规模,同时加冗余的服务器以预防因峰值流量而导致的服务器拥塞,在决定网络规模的过程中,使用服务器非满载容量作为判断的一种依据,目的同样是增加冗余容量以应对突发的高峰流量。该技术同样存在如下缺点:(1)、虽然将前一个时段的网络流量作为依据可以在一定程度上预测网络流量,但误差较大。(2)、方案中的冗余设计在一定程度上增加了CDN的能耗。
技术实现思路
本专利技术的目的在于克服现有技术的不足,提供一种虚拟CDN的节能部署方法,根据网络流量的变化来动态调整虚拟CDN系统的规模。为实现上述专利技术目的,本专利技术一种虚拟CDN的节能部署方法,其特征在于,包括以下步骤:(1)、历史流量数据的处理首先获取一段时间T的历史流量数据,然后以时间t为一个时间片,t<<T,求得历史流量数据在时间片内的平均值,得到一个时间序列;以时间序列中每k个值为一组,求每组内的最大值,得到序列S,S=ω1,ω2,...,ωn;(2)、预测序列ωn+1的值根据序列S,利用ARIMA(p,d,q)预测模型预测序列ωn+1的值,其中,d为差分阶数,p和q为模型参数;(2.1)、获取d阶差分后的序列利用EVIEWS软件确定ARIMA(p,d,q)预测模型的差分阶数d:从0阶开始递增,依次判断差分后的序列是否是平稳的,如果平稳,则停止后续判断且使得差分阶数d为当前阶数值;d阶差分后的序列表示为:Sd=D(ω1)d,D(ω2)d,...,D(ωn)d;其中,D(ωi)d=(1-Δ)dωi,1≤i≤n,Δ为差分算子,可如下递归使用:Δωi=ωi-ωi-1Δ2ωi=Δ(Δωi)=Δ(ωi-ωi-1)=ωi-2ωi-1+ωi-2(2.2)、确定参数p和q根据d阶差分后的序列Sd=D(ω1)d,D(ω2)d,...,D(ωn)d的自相关序列和偏自相关序列组;定义两倍置信区间,判断自相关和偏自相关的序列值在何下标处落在两倍置信区间内来确定参数p和q的值;(2.3)、预测差分值D(ωn+1)dD(ωn+1)d=ζ1D(ωn)d+ζ2D(ωn-1)d+,...,ζpD(ωn-p+1)d+οn+1+κ1οn+κ2οn-1+,...,κqοn-q+1其中,其中ζ1,...,ζp和κ1,...,κq为模型参数;οn为在n时刻的随机误差,οn满足独立高斯分布,具有零均值;(2.4)、将步骤(2.1)中的差分公式修改为:D(ωn+1)d=(1-Δ)dωn+1,再结合预测差分值反推出序列ωn+1的值;(3)、确定虚拟CDN系统规模(3.1)、利用如下公式计算虚拟CDN系统规模其中,PC表示单个软件功能容许的最大流量;λ为最大流量的百分数,λ的取值为:0<λ≤1,λ用来限制单个软件功能的流量不得超过最大值的λ倍;numn+1表示下一时刻的网络功能个数,即虚拟CDN系统规模;表示向上取整;(3.2)、增加冗余服务器设每个通用服务器可以装载m个软件化的网络功能,则下一时刻所需的通用服务器个数为定义M为最大可用的服务个数,μ,0≤μ<1为最大值M的百分数,M*μ为冗余服务器的个数;那么,最终打开的服务器个数为:(4)、计算虚拟CDN系统的能耗(4.1)、单台服务器的能量消耗为:P(α)=Pidle+(Ppeak-Pidle)*α其中,α,0≤α≤1为单台服务器的负载率;Pidle为空载的功率,Ppeak为满载功率;(4.2)、累加每台服务器的能耗得到虚拟CDN系统的能耗;(5)、在当前时间段按照步骤(1)所述方法持续统计本时间段内的流量,得到当前时间段内的流量真实值,再通过流量真实值来修正预测序列ωn+1,最后将修正后的序列ωn+1加入到序列S的末尾,再返回到步骤(2.3),重新开始下一个时段的预测及部署工作。进一步的,所述的步骤(2.3)中,模型参数ζ1,...,ζp和κ1,...,κq的获得方法为:利用极大似然估计法估计模型参数;假设差分序列Sd=D(ω1)d,D(ω2)d,...,D(ωn)d满足独立多元正太分布,令β=(ζ1,ζ2,...,ζp,κ1,κ2,...,κn)T及∑n=E(Sd(Sd)T)=Ωσ2,其中,Ω为序列Sd的协方差矩阵,σ2为常数方差;则Sd的似然函数为两端同时取对数,得对数似然函数为:对其求偏导,得到似然方程为:其中,S(β)=(Sd)TΩ-1Sd;通过求解上述方程组,可得到未知模型参数的极大似然估计值。本专利技术的专利技术目的是这样实现的:本专利技术一种虚拟CDN的节能部署方法,本专利技术一种虚拟CDN的节能部署方本文档来自技高网
...
一种虚拟CDN的节能部署方法

【技术保护点】
一种虚拟CDN的节能部署方法,其特征在于,包括以下步骤:(1)、历史流量数据的处理首先获取一段时间T的历史流量数据,然后以时间t为一个时间片,t<<T,求得历史流量数据在时间片内的平均值,得到一个时间序列;以时间序列中每k个值为一组,求每组内的最大值,得到序列S,S=ω

【技术特征摘要】
1.一种虚拟CDN的节能部署方法,其特征在于,包括以下步骤:(1)、历史流量数据的处理首先获取一段时间T的历史流量数据,然后以时间t为一个时间片,t<<T,求得历史流量数据在时间片内的平均值,得到一个时间序列;以时间序列中每k个值为一组,求每组内的最大值,得到序列S,S=ω1,ω2,...,ωn;(2)、预测序列ωn+1的值根据序列S,利用ARIMA(p,d,q)预测模型预测序列ωn+1的值,其中,d为差分阶数,p和q为模型参数;(2.1)、获取d阶差分后的序列利用EVIEWS软件确定ARIMA(p,d,q)预测模型的差分阶数d:从0阶开始递增,依次判断差分后的序列是否是平稳的,如果平稳,则停止后续判断且使得差分阶数d为当前阶数值;d阶差分后的序列表示为:Sd=D(ω1)d,D(ω2)d,...,D(ωn)d;其中,D(ωi)d=(1-Δ)dωi,1≤i≤n,Δ为差分算子,可如下递归使用:Δωi=ωi-ωi-1Δ2ωi=Δ(Δωi)=Δ(ωi-ωi-1)=ωi-2ωi-1+ωi-2(2.2)、确定参数p和q根据d阶差分后的序列Sd=D(ω1)d,D(ω2)d,...,D(ωn)d的自相关序列和偏自相关序列组;定义两倍置信区间,判断自相关和偏自相关的序列值在何下标处落在两倍置信区间内来确定参数p和q的值;(2.3)、预测差分值D(ωn+1)dD(ωn+1)d=ζ1D(ωn)d+ζ2D(ωn-1)d+,...,ζpD(ωn-p+1)d+οn+1+κ1οn+κ2οn-1+,...,κqοn-q+1其中,其中ζ1,...,ζp和κ1,...,κq为模型参数;οn为在n时刻的随机误差,οn满足独立高斯分布,具有零均值;(2.4)、将步骤(2.1)中的差分公式修改为:D(ωn+1)d=(1-Δ)dωn+1,再结合预测差分值反推出序列ωn+1的值。(3)、确定虚拟CDN系统规模(3.1)、利用如下公式计算虚拟CDN系统规模其中,PC表示单个软件功能容许的最大流量;λ为最大流量的百分数,λ的取值为:0<λ≤1,λ用来限制单个软件功能的流量流量不得超过最大值的λ倍;numn+1表示下一时刻的网络功能个数,即虚拟CDN系统规模;表示向上取整;(3.2)、增加冗余服务器设每个通用服务器可以装载m个软件化的网络功能,则下一时刻所需的通用服务器个数为定义M为最大可用的服务个数,μ,0≤μ<1为最大值M的百分数,M*μ为冗余服务器的个数;那么,最终打开的...

【专利技术属性】
技术研发人员:孙罡廖丹赵东成杨广华孙健
申请(专利权)人:电子科技大学
类型:发明
国别省市:四川,51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1