一种基于深度置信网的数据流系统资源预测机制技术方案

本发明专利技术提出一种基于深度置信网(DBN)的数据流系统资源预测机制，采用无监督的深度学习，以DBN为基础，进行时间序列分析来实现。该机制分为两个阶段，数据预处理和模型训练阶段：数据预处理阶段主要采取平滑的方法对数据进行预处理，从原始的时间序列数据生成一个差分变换以消除数据中的线性因素；模型训练阶段由两层RBMs构成的DBN网络模型对数据进行拟合训练，然后对节点负载做预测分析。该发明专利技术的深度学习机制，提供短期负载情况和长期负载情况的预测，可在提交计算任务时全面了解系统的状态。

A Resource Prediction Mechanism for Data Stream System Based on Deep Confidence Network

The invention proposes a resource prediction mechanism of data flow system based on deep belief network (DBN), which is realized by unsupervised deep learning and time series analysis based on DBN. The mechanism is divided into two stages, data preprocessing and model training: data preprocessing stage mainly adopts smoothing method to preprocess data, and generates a differential transformation from the original time series data to eliminate the linear factors in the data; model training stage consists of two layers of RBMs DBN network model to fit the data, and then to predict the load of nodes. Analysis. The deep learning mechanism of the invention provides short-term load and long-term load forecasting, and can fully understand the state of the system when submitting computing tasks.

【技术实现步骤摘要】
一种基于深度置信网的数据流系统资源预测机制
本专利技术涉及深度学习、时间序列分析、流数据处理领域，具体涉及到一种基于深度置信网的数据流系统资源预测机制。
技术介绍
数据流的日志采集系统通常会面临系统资源的匮乏问题，如何调度系统资源实现合理分配是系统效率高低的重要保障。如日志收集系统Flume，也存在节点负载资源的缺乏，无法预知某时间段的系统状态以及长时间或短时间的资源负载情况。深度置信网作为无监督的深度学习网络模型，可以实现模型的自动训练，以时序数据作为训练，预测资源负载情况。近年来最接近本专利技术的技术有：(1)、深度置信网络:DBN是一个概率生成模型，Hinton于2006年提出了基于玻尔兹曼机(RBM，RestrictedBoltzmannMachine)的深度置信网络(DeepBeliefNetwork)结构。最初该网络应用在图像领域的研究之中，近年来深度置信网络在序列学习方面带来了新的应用，为此创新应用到资源负载预测方面。该方法对于深度学习资源数据之间的关系，实现对系统长期资源以及短期资源的粗略预估，提高了系统状态的透明度。
技术实现思路
为解决现有技术中的缺点和不足，本专利技术提出了一中基于深度置信网(DBN)的数据流系统资源预测机制，解决数据流系统资源负载的预测。本专利技术的技术方案为：采用无监督的深度学习，以DBN为基础，进行时间序列分析。主要包括预处理和模型训练阶段，数据预处理阶段主要采取平滑的方法对数据进行预处理，从原始的时间序列数据生成一个差分变换以消除数据中的线性因素；模型训练阶段由两层RBMs构成的DBN网络模型对数据进行拟合训练，然后对节点负载做预测分析。本专利技术的有益效果：(1)在深度置信网(DBN)的基础上，以负载数据的时间序列分析为手段加以实现，实现在提交计算任务时全面了解系统的状态。。(2)提供短期负载情况和长期负载情况的预测，保证数据流系统资源的合理调度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术机制网络模型图；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术基于深度置信网(DBN)的数据流系统资源预测机制预测器如图1所示，机制包括数据预处理、模型训练两个阶段。数据预处理：神经网络对于非线性数据能起到很好的预测作用，但是对于线性因素很强的数据则预测效果会减弱。采取平滑方法对数据进行预处理，从原始的时间序列数据生成一个差分变换xd(t)＝x(t)-x(t-d)以消除数据中的线性因素。其中d代表时间延迟长度。通过这种方式得到的最终预测数据需要通过一个逆变化即便可得到原始数据的预测值。模型训练：首先初始化并重构输入数据。将集群中的负载数据x(t),t＝1,2,…,T重构成时间序列数据x(t-τ),x(t-2τ),x(t-3τ),…,x(t-nτ)，作为RBM1的可见层单元集{vi}的输入。接着训练RBM1，直到能量函数E(v,h)降到一个收敛状态。能量函数定义为其中vi和hj是输入x(t)和第j个特征的二值状态，bi和bj是相应的偏置，wij是链接的权重，并随着训练的进行更新wij。RBM2以同样的方法进行训练后，其输出被当作预测未知负载的粗略估计值。接着计算和x(t)之间的均方差，使用BP算法来对每一个RBM的链接权重进行调优。将未被学习的负载数据输入到前面被训练出来的模型，并预测短期和长期负载。短期预测是使用x(t-τ),x(t-2τ),x(t-3τ),...,x(t-nτ)来预测长期预测使用来预测以上所述仅为本专利技术的较佳实施例而已，并不用以限制本专利技术，凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于深度置信网的数据流系统资源预测机制，其特征在于，采用无监督的深度学习，以DBN为基础，进行时间序列分析来实现。包括以下步骤：步骤(1)、数据预处理：采取平滑方法对数据进行预处理，从原始的时间序列数据生成一个差分变换，以消除数据中的线性因素，建立数据库；步骤(2)、由两层RBMs构成的DBN模型初始化并重构接入数据哭，进行模型训练；步骤(3)、使用BP算法来对每一个RBM的链接权重进行调优，并将未被学习的负载数据输入到前面被训练出来的模型，并预测短期和长期负载。

【技术特征摘要】
1.一种基于深度置信网的数据流系统资源预测机制，其特征在于，采用无监督的深度学习，以DBN为基础，进行时间序列分析来实现。包括以下步骤：步骤(1)、数据预处理：采取平滑方法对数据进行预处理，从原始的时间序列数据生成一个差分变换，以消除数据...

【专利技术属性】
技术研发人员：任鹏程，张卫山，房凯，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37