一种基于深度置信网的云计算负载预测方法技术

技术编号:12151353 阅读:130 留言:0更新日期:2015-10-03 12:25
本发明专利技术提出了一种基于深度置信网的云计算负载预测方法,包括以下步骤:步骤(1),从云集群中提取并聚合负载观测值;步骤(2),对步骤(1)的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性;步骤(3),按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构;步骤(4),使用前一步训练出的网络对云属性进行长短期预测;步骤(5),将步骤(4)中的预测结果进行与步骤(2)相反的逆变换,得到原数据的预测值。本发明专利技术基于深度置信网的云负载预测方法,能够为云平台的资源调度提供可靠依据,具有预测误差小、适合长线预测等优点,达到云资源高效调度和使用。

【技术实现步骤摘要】

本专利技术涉及云计算大数据计算、计算智能领域,特别涉及。
技术介绍
对云计算环境下的负载的预测是极为困难的。相对于网格计算和高性能计算而言,由于用户与云平台的交互和其上传得云任务类型在时间和空间上高度变化,使得云负载表现出高度的非线性性质,从而导致传统的线性或概率模型不能表现出其在应对网格和高性能系统时的良好效果。作为深度神经网络的一员,深度置信网是由RBM (Restricted BoltzmannMachines)组成的多层神经网络。一个RBM能够获取数据的内在模式或特征,而由多个RBM叠成的深度置信网能够获取特征的特征,从而建立起高度的非线性预测模型。通过采用对比散度算法对RBM进行预训练并使用BP优化网络结构比直接使用BP优化算法能达到更好的实验效果。最接近本专利技术的技术有:UD.Sheng提出一种基于Bayes模型的预测算法去预测谷歌云集群主机负载。然而获取Bayes模型的前验信息往往很困难,这使得此模型容易产生简单结果,从而降低预测精度。2、S.Chen采用了分形建模技术去预测谷歌云任务的资源请求。然而,采用分形建模技术对数据建模的前提条件是数据具有自相似性。这样,一个好的预测结果就要求云属性具有自相似性,这也使得其应用范围受到限制。
技术实现思路
为解决现有技术的不足,本专利技术提出了一种基于深度置信网的云负载预测方法。本专利技术的技术方案是这样实现的:,包括以下步骤:步骤(I),从云集群中提取并聚合负载观测值;步骤(2),对步骤(I)的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性;步骤(3),按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构;步骤(4),使用前一步训练出的网络对云属性进行长短期预测;步骤(5),将步骤(4)中的预测结果进行与步骤(2)相反的逆变换,得到原数据的预测值。可选地,本专利技术的基于深度置信网的云计算负载预测方法,还包括步骤(6),将预测结果与传统方法的预测结果进行评价,得出评价结果。本专利技术的有益效果是:(I)把深度置信网对非线性数据良好的拟合特性与高度变化的云属性相结合,预测误差小;(2)适合长线预测。【附图说明】为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术的流程图;图2为本专利技术的网络拓扑图。【具体实施方式】下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。图1所示为基于深度置信网的云负载预测方法的系统流程图,图2所示为其网络拓扑图。本专利技术基于深度置信网的云负载预测方法,其预测过程包括6个步骤:预处理步骤,预分析步骤,训练步骤,预测步骤,后处理步骤,评价步骤。下面结合图1与图2,对基于深度置信网的云负载预测方法的具体流程进行详细说明:步骤(I),预处理:从云集群中提取并聚合负载观测值。步骤(2),预分析:对前一步骤的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性。步骤(3),训练:按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构。步骤(4),预测:使用前一步训练出的网络对云负载进行长短期预测。步骤(5),将步骤(4)预测的结果进行与步骤(2)相反的逆变换,得到原数据的预测值。进行完上述步骤之后,本专利技术基于深度置信网的云负载预测方法还可以包括步骤(6),即评价步骤,将预测结果与传统方法的预测结果进行评价,得出评价结果。本专利技术基于深度置信网的云负载预测方法,通过RMI协议从每个云节点中收集属性观测值,并送至属性处理中心;而且,实现了基于深度置信网的预测组件,通过提前训练历史数据对将来一段时间内的云负载进行估计。本专利技术基于深度置信网的云负载预测方法,能够为云平台的资源调度提供可靠依据,具有预测误差小、适合长线预测等优点,在充分利用DBN对复杂非线性数据强建模能力的前提下,实时读取云负载观测值,计算未来某时间段最可能的资源消耗估计,达到云资源高效调度和使用。以上所述仅为本专利技术的较佳实施例而已,并不用以限制本专利技术,凡在本专利技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本专利技术的保护范围之内。【主权项】1.,其特征在于,包括以下步骤: 步骤(I),从云集群中提取并聚合负载观测值; 步骤(2),对步骤(I)的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性; 步骤(3),按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构; 步骤(4),使用前一步训练出的网络对云属性进行长短期预测; 步骤(5),将步骤(4)中的预测结果进行与步骤(2)相反的逆变换,得到原数据的预测值。2.如权利要求1所述的基于深度置信网的云计算负载预测方法,其特征在于,还包括步骤(6),将预测结果与传统方法的预测结果进行评价,得出评价结果。【专利摘要】本专利技术提出了,包括以下步骤:步骤(1),从云集群中提取并聚合负载观测值;步骤(2),对步骤(1)的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性;步骤(3),按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构;步骤(4),使用前一步训练出的网络对云属性进行长短期预测;步骤(5),将步骤(4)中的预测结果进行与步骤(2)相反的逆变换,得到原数据的预测值。本专利技术基于深度置信网的云负载预测方法,能够为云平台的资源调度提供可靠依据,具有预测误差小、适合长线预测等优点,达到云资源高效调度和使用。【IPC分类】H04L29/08, H04L12/24【公开号】CN104954185【申请号】CN201510330961【专利技术人】张卫山, 段鹏程, 宫文娟, 卢清华, 李忠伟 【申请人】中国石油大学(华东)【公开日】2015年9月30日【申请日】2015年6月9日本文档来自技高网...

【技术保护点】
一种基于深度置信网的云计算负载预测方法,其特征在于,包括以下步骤:步骤(1),从云集群中提取并聚合负载观测值;步骤(2),对步骤(1)的观测值进行差分变换以降低数据的线性度,归一化数据,分析数据内部的自相关和自回归特性;步骤(3),按照从下到上的顺序逐层训练RBM,并通过BP算法优化整体网络结构;步骤(4),使用前一步训练出的网络对云属性进行长短期预测;步骤(5),将步骤(4)中的预测结果进行与步骤(2)相反的逆变换,得到原数据的预测值。

【技术特征摘要】

【专利技术属性】
技术研发人员:张卫山段鹏程宫文娟卢清华李忠伟
申请(专利权)人:中国石油大学华东
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1