一种大数据系统实时服务参数自适应调整方法技术方案

本发明专利技术公开了一种大数据系统实时服务参数自适应调整方法，其特征在于：包括采集系统资源使用监控记录；基于Elman神经网络建立系统资源使用预测模型；对系统资源使用预测模型的训练和预测，获得所需的资源负荷预测值；根据资源使用预测值，自动调整系统实时服务参数。本发明专利技术通过深度学习方法训练系统资源使用的预测模型，预测的资源变化量，基于资源使用量与服务参数之间的关系，实现对系统服务参数的自适应调整。

【技术实现步骤摘要】
一种大数据系统实时服务参数自适应调整方法
本专利技术涉及大数据处理
，尤其是一种大数据系统实时服务参数自适应调整方法。
技术介绍
随着信息技术的发展，信息化程度的不断提高，系统越来越复杂，管理平台往分布式的结果发展，随着信息技术的发展，信息化程度的不断提高，系统越来越复杂，管理平台往分布式的结果发展。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。在分布式的结构的系统中，分布式大数据系统配置效率非常重要。在大数据系统中，由于对资源的需求不清楚，系统配置的参数无法将系统资源进行合理配置，从而造成系统性能差，严重影响系统的工作。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一种大数据系统实时服务参数自适应调整方法，通过对资源使用的预测，对服务参数进行调整，从而合理配置资源，提高大数据系统的工作性能。本专利技术采用的技术方案如下：本专利技术一种大数据系统实时服务参数自适应调整方法，包括采集系统资源使用监控记录；基于Elman神经网络建立系统资源使用预测模型；对系统资源使用预测模型的训练和预测，包括以下步骤：S1：利用固定尺寸重叠滑动窗口技术从系统资源使用监控记录数据中提取资源负荷子序列集；S2：使用聚类算法将资源负荷子序列集按照最优个数分成若干类，放置在不同的聚类簇中；S3：输入当前的资源负荷数据，并将该数据和已有的聚类簇的数据进行似然度计算，提取具有与当前资源负荷数据具有最大似然度的聚类簇；S4：将聚类簇的资源负荷子序列集输入到Elman神经网络预测模块中对其进行训练和预测，获得所需的资源负荷预测值；根据资源使用预测值，自动调整系统实时服务参数。进一步，所述S2中聚类簇的最优个数的计算方法：S21：利用AIC准则计算聚类对应的最高后验概率P(M/X)的值，式中，d为HMM模型M参数空间中所有参数的总数，N为所给数据个数的总和，为数据xi属于第k个聚类的隶属度，Pk是混合模型中每个HMM模型的先验概率；S22：AIC准则通过权衡对数似然项和复杂度惩罚项来确定最佳聚类个数。进一步，所述S4中Elman神经网络预测模块的训练具体包括以下：构建Elman神经网络模型，初始Elman神经网络的权值阈值长度；通过遗传算法对Elman神经网络的权值进行训练；获取最优权值阈值；对Elman神经网络进行更新权值训练。进一步，通过遗传算法对Elman神经网络的权值进行训练的方法：种群个体实数编码和种群初始化；将Elman神经网络训练误差作为适应度值；进行选择、交叉和变异操作，计算适应度值；检查是否满足结束条件，产生神经网络的最优权值阈值。进一步，所述适应度值的计算公式：E(k)＝1/2(yd(k)-y(k))T(yd(k)-y(k))；式中yd(k)为第k步网络的实际输出。进一步，构建Elman神经网络模型，Elman神经网络模型结构包括输入层、隐含层、输出层和关联层的四层神经网络结构，数学模型表示为：y(k)＝g[ω3x(k)]x(k)＝f[ω1xc(k)+ω2u(k-1)]xc(k)＝αxc(k-1)+x(k-1)公式中，ω1表示隐含层与关联层的连接权矩阵，ω2表示隐含层与输入层之间的连接权矩阵，ω3表示隐含层与输出层的连接权矩阵，y(k)表示k时刻神经网络的输出，u(k)表示k时刻神经网络的输入，x(k)表示k时刻的隐含层状态，xc(k)表示k时刻关联层中神经元的状态，f(·)表示隐含层的激活函数所组成的非线性向量函数，g(·)表示输出层的激活函数所组成的非线性向量函数，其中f(·)取sigmoid函数；0≤α<1为隐含层子反馈增益因子。进一步，所述通过预测模块预测下一段时间内的资源需求量，并与当前的资源负荷量结合，计算需要增加或释放的资源，从而自适应调整系统服务参数。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：与现有技术相比，通过建立大数据系统资源数据使用预测模型，预测系统下一时间的资源使用量，并结合现有的资源使用情况，得到需要调整的资源量，从而自适应调整系统实时服务参数。附图说明本专利技术将通过例子并参照附图的方式说明，其中：图1是本专利技术中系统资源使用预测模型的训练和预测方法流程图。具体实施方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。如图1，本专利技术一种大数据系统实时服务参数自适应调整方法，包括采集系统资源使用监控记录；基于Elman神经网络建立系统资源使用预测模型，进行训练和预测；并根据预测值调整系统实时服务参数。系统资源使用预测模型的训练和预测步骤包括以下：S1：利用固定尺寸重叠滑动窗口技术从系统资源使用监控记录数据中提取资源负荷子序列集；S2：使用聚类算法将资源负荷子序列集按照最优个数分成若干类，放置在不同的聚类簇中；聚类簇的最优个数的计算方法：S21：利用AIC准则计算聚类对应的最高后验概率P(M/X)的值；由于AIC准则：其中d为HMM模型M参数空间中所有参数的总数,N为所给数据个数的总和，LL是由HMM模型对所给数据计算得到的对数似然值；所以式中为数据xi属于第k个聚类的隶属度，Pk是混合模型中每个HMM模型的先验概率；S22：AIC准则通过权衡对数似然项和复杂度惩罚项来确定最佳聚类个数；S3：输入当前的资源负荷数据，并将该数据和已有的聚类簇的数据进行似然度计算，提取具有与当前资源负荷数据具有最大似然度的聚类簇；S4：将聚类簇的资源负荷子序列集输入到Elman神经网络预测模块中对其进行训练和预测，获得所需的资源负荷预测值；Elman神经网络预测模块的训练具体包括以下：步骤一：构建Elman神经网络模型；Elman神经网络模型结构包括输入层、隐含层、输出层和关联层的四层神经网络结构，数学模型表示为：y(k)＝g[ω3x(k)]x(k)＝f[ω1xc(k)+ω2u(k-1)]xc(k)＝αxc(k-1)+x(k-1)公式中，ω1表示隐含层与关联层的连接权矩阵，ω2表示隐含层与输入层之间的连接权矩阵，ω3表示隐含层与输出层的连接权矩阵，y(k)表示k时刻神经网络的输出，u(k)表示k时刻神经网络的输入，x(k)表示k时刻的隐含层状态，xc(k)表示k时刻关联层中神经元的状态，f(·)表示隐含层的激活函数所组成的非线性向量函数，g(·)表示输出层的激活函数所组成的非线性向量函数，其中f(·)取sigmoid函数；0≤α<1为隐含层子反馈增益因子；步骤二：初始Elman神经网络的权值阈值长度；步骤三：通过遗传算法对Elman神经网络的权值进行训练；具体包括：种群个体实数编码和种群初始化；将Elman神经网络训练误差作为适应度值；进行选择、交叉和变异操作，计算适应度值；所述适应度值的计算公式：E(k)＝1/2(yd(k)-y(k))T(yd(k)-y(k))；式中yd(k)为第k步网络的实际输出；检查是否满足结束条件，产生神经网络的最优权值阈值；步骤四：获取本文档来自技高网...

【技术保护点】
一种大数据系统实时服务参数自适应调整方法，其特征在于：包括采集系统资源使用监控记录；基于Elman神经网络建立系统资源使用预测模型；对系统资源使用预测模型的训练和预测，包括以下步骤：S1：利用固定尺寸重叠滑动窗口技术从系统资源使用监控记录数据中提取资源负荷子序列集；S2：使用聚类算法将资源负荷子序列集按照最优个数分成若干类，放置在不同的聚类簇中；S3：输入当前的资源负荷数据，并将该数据和已有的聚类簇的数据进行似然度计算，提取具有与当前资源负荷数据具有最大似然度的聚类簇；S4：将聚类簇的资源负荷子序列集输入到Elman神经网络预测模块中对其进行训练和预测，获得所需的资源负荷预测值；根据资源使用预测值，自动调整系统实时服务参数。

【技术特征摘要】
1.一种大数据系统实时服务参数自适应调整方法，其特征在于：包括采集系统资源使用监控记录；基于Elman神经网络建立系统资源使用预测模型；对系统资源使用预测模型的训练和预测，包括以下步骤：S1：利用固定尺寸重叠滑动窗口技术从系统资源使用监控记录数据中提取资源负荷子序列集；S2：使用聚类算法将资源负荷子序列集按照最优个数分成若干类，放置在不同的聚类簇中；S3：输入当前的资源负荷数据，并将该数据和已有的聚类簇的数据进行似然度计算，提取具有与当前资源负荷数据具有最大似然度的聚类簇；S4：将聚类簇的资源负荷子序列集输入到Elman神经网络预测模块中对其进行训练和预测，获得所需的资源负荷预测值；根据资源使用预测值，自动调整系统实时服务参数。2.如权利要求1所述的大数据系统实时服务参数自适应调整方法，其特征在于：所述S2中聚类簇的最优个数的计算方法：S21：利用AIC准则计算聚类对应的最高后验概率P(M/X)的值，式中，d为HMM模型M参数空间中所有参数的总数，N为所给数据个数的总和，为数据xi属于第k个聚类的隶属度，Pk是混合模型中每个HMM模型的先验概率；S22：AIC准则通过权衡对数似然项和复杂度惩罚项来确定最佳聚类个数。3.如权利要求1所述的大数据系统实时服务参数自适应调整方法，其特征在于：所述S4中Elman神经网络预测模块的训练具体包括以下步骤：构建Elman神经网络模型，初始Elman神经网络的权值阈值长度；通过遗传算法对Elman神经网络的权值进行训练；获取最优权值阈值；对Elman神经网络进行更新权值训练。4.如权利要求3所述的大数据系统实时服务参数自适应调整方法...

【专利技术属性】
技术研发人员：聂敏，连德富，李春，孙俊，
申请(专利权)人：成都寻道科技有限公司，
类型：发明
国别省市：四川,51