一种基于EEMD-神经网络的实时数据异常值检测方法技术

一种基于EEMD‑神经网络的实时数据异常值检测方法，考虑现有实时数据异常值检测方法没有考虑历史数据异常值问题。包括：获取历史时间序列数据，按照时间顺序排序；对历史数据用中位数法初步检测；再用EEMD法精细检测，把检测出的异常值用0值替换；接下来用曲线拟合方法对0值进行填补，也即对异常值校正，经过异常值检测和校正得到更接近客观真实的历史数据；最后采用神经网络方法通过对历史数据的学习，可以更加准确地对即将上报的实时数据进行预测，把预测值与实时上报的监测值进行比对可判断是否异常，并加以校正。该方法可用于一维时间序列实时数据的异常值检测，适用的领域广泛，如：水资源、交通、气象、火力发电等实时监测数据异常值检测。

A method of outlier detection in real time data of EEMD based on Neural Network

A method of outlier detection in real time data of EEMD based on neural network, considering the existing real-time data outlier detection method without considering the abnormal value of historical data. Including: acquisition of historical time series data, sorted according to the time sequence of historical data; median initial detection; fine detection using EEMD method to detect outliers, replaced with a value of 0; the next 0 values are filled in the curve fitting method, namely the outlier correction, after outlier detection and correction to get closer to the historical data of objective reality; by the end of the learning history data by using neural network method, we can predict the real-time data to be reported more accurately, the predicted values were compared to determine whether the abnormal value of real-time reporting and monitoring, and corrected. The method can be applied to outlier detection of one-dimensional time series real-time data, and is widely applied in various fields, such as water resources, transportation, meteorology, thermal power generation and other real-time monitoring data outliers detection.

【技术实现步骤摘要】
一种基于EEMD-神经网络的实时数据异常值检测方法
本专利技术涉及一种基于EEMD-神经网络的实时数据异常值检测方法，属于数据分析领域。
技术介绍
对于实时数据异常值检测方法的研究，前人已经提出了神经网络、支持向量机等方法，但是没有考虑对历史数据的异常值处理，因为实时数据的准确预测需要建立在历史数据可靠的基础上。而对于历史数据异常值检测，常用的方法包括基于统计、聚类、距离、密度等异常值检测方法，但是这些方法没有考虑时间序列数据的时序变化特性，而是从数据全集考虑，隐藏在局部的异常值难以检测。本专利技术对于历史数据采用中位数-EEMD方法可以有效检测时间序列局部异常值，再结合神经网络方法可对实时数据异常值更有效地检测。经验模态分解(EmpiricalModeDecomposition，EMD)方法是由NordenE.Huang等人于1998年提出。EMD在机械故障诊断、地球物理探测、生物医学分析等方面都得到广泛的应用。尚未见有文献用于时间序列异常值检测。EMD可将不同尺度的波动或趋势从原信号中逐级分离出来。EMD适用于分析非线性非平稳信号，且具有完全自适应性。原始的时间序列x(t)经过EMD分解得到一系列固有模态函数(IntrinsicModeFunction，IMF)和一个残余项(residual,简记res)，即其中ci表示第i个IMF，rn为残余项。EEMD是EMD的改进算法，有效解决了EMD的混频现象。曲线拟合的原理是已知样本点(xi,yi)(i＝1,2,3,…,n)，求出函数y≈f(x)，使f(x)在原样本点xi上尽可能接近yi的值。曲线拟合方法包括最小二乘曲线拟合(多项式拟合)和线性插值拟合，本专利采用最小二乘曲线拟合方法。最小二乘曲线拟合，就是使误差平方和最小的多项式拟合。即寻找一条曲线使在误差平方和最小的准则下与所有数据点最为接近，也即找出使最小的f(x)。通常，多项式的次数选用3次，低于3次，可能会造成波峰丢失，高于3次，拟合时间长，容易产生虚假波峰。人工神经网络是一种模拟人脑结构及其功能的非线性动力系统，具有自组织、自适应、自学习和较强的鲁棒性与容错性等显著特点。反向传播(BackPropagation，BP)神经网络是目前应用最广泛的神经网络模型之一，是基于误差反向传播算法的多层前向神经网络，它的学习规则是使用最速下降法，通过误差反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。神经网络在手写体识别、图像标注、语义理解和语音识别等
取得了非常成功的应用。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供了一种基于EEMD-神经网络的实时数据异常值检测方法，用于解决实时监测数据存在不可靠数据的问题。本专利技术的技术解决方案是：一种基于EEMD-神经网络的实时数据异常值检测方法，其包括以下步骤：(1)对原始历史时间序列数据，按照时间顺序进行排序，对缺失数据用0值填补，得到初步整理好的历史数据；(2)对所述初步整理好的历史数据进行异常值检测处理，把检测出的异常值用0值替换；(3)对异常值检测处理之后的历史数据进行异常值校正处理，即对数据中的0值进行填补，完成历史时间序列数据异常值检测和校正；(4)对实时数据进行异常值检测；(5)根据步骤(4)得到的异常值检测结果，对实时数据进行异常值校正。步骤(2)对初步整理好的历史数据进行异常值检测处理，包括如下步骤：(2.1)通过中位数法对所述初步整理好的历史数据进行初步检测；(2.2)通过EEMD法对所述初步检测之后的历史数据进行精细检测。所述步骤(3)对异常值检测处理之后的历史数据进行异常值校正处理，采用局部曲线拟合法实现；所述步骤(4)对实时数据进行异常值检测，采用人工神经网络实现。所述通过中位数法对所述初步整理好的历史数据进行初步检测，具体为：(4.1)对于初步整理后的时间序列数据{ai}，i＝1,2,3,…,，把{ai}中的正数选出来构成一个新的数列把的中位数记为(4.2)计算中每个数与中位数的比值即(4.3)设定的阈值为r1,r2，若或者则为异常值，把异常值替换为0，时间序列数据{ai}经过替换后得到的数列为{bi}，从而完成对所述初步整理好的历史数据进行初步检测。所述通过EEMD法对所述初步检测之后的历史数据进行精细检测，具体为：(5.1)将数列{bi}中的正数选出来构成一个新的数列(5.2)通过EEMD法对进行分解，得到频率从高到低排列的n个分量；(5.3)n个分量中，舍去高频分量，把后面m个低频分量以向量求和的方式进行求和，得到一个新的数列其中，1<m<n；(5.4)计算偏差比率用于量化与的偏离程度；(5.5)设定偏差比率的阈值为d0，偏差比率大于d0的数据为异常值，再把异常值替换为0，把{bi}经过异常值替换得到的数列记为{gi}，从而完成对所述初步检测之后的数据进行精细检测。所述采用局部曲线拟合法，具体为：(6.1)对于每一段0值，包括单个0值或者是连续多个0值，前后端各选取一段序列，构成一个子序列{hi}；(6.2)对{hi}进行曲线拟合：把{hi}中的正数选出来，得到一组样本点i+表示{hi}中出现正数的位置，采用多项式对样本点进行曲线拟合，得到的多项式记为f(x)；(6.3)用曲线拟合值替换{hi}中的0值，i0表示{hi}中0值的位置，得到异常值校正后的时间序列数据{ki}，i＝1,2,3,…,t。所述通过人工神经网络对实时数据进行异常值检测，具体为：(7.1)应用人工神经网络对时间序列{k1,k2,…,kt}预测第t+1天的值ut+1；(7.2)计算实时上报的监测数据at+1与预测值ut+1的相对误差wt+1；(7.3)设定wt+1的阈值为w0，若相对误差wt+1>w0，则认为实时上报的监测数据at+1属于异常值，用预测值ut+1替换at+1；若相对误差wt+1≤w0，则认为实时上报的监测数据at+1属于正常值，保留；(7.4)对第t+1天获得的实时监测数据at+1经过异常值检测和校正得到的正常值，记为kt+1，并把kt+1拼接到序列{k1,k2,…,kt}的后面组成新的序列{k1,k2,…,kt,kt+1}；(7.5)采用神经网络，根据序列{k1,k2,…,kt,kt+1}预测第t+2天的值ut+2，与第t+2天实时上报的监测数据at+2进行对比以检测是否异常并校正，以此类推，对每一天实时上报的数据都进行检测，经过检测并校正后的数据作为历史数据存储，为下一天的预测做准备。所述步骤(5.1)将数列{bi}中的正数选出来构成一个新的数列时，每个正数之间的排列顺序不变。所述步骤(5.2)中，n个分量中包括n-1个IMF和1个残余项rn。所述步骤(5.3)中，m值的确定采用如下步骤：(10.1)计算每个IMFi(t)的增长率zi(t),i＝1,2,…,(n-1)；(10.2)计算每个IMFi(t)增长率的最大值hi＝max(zi(t)),i＝1,2,…,(n-1)，得到数组[h1,h2,…,hn-1]；(10.3)从[h1,h2,…,hn-1]中找到hw，分两种情况：当[h1,h2,…,hn-1]不是单调的，hw是[h1,h2,…,hn-1]中从左到右第一个极小值；当[h1,h2,本文档来自技高网...

【技术保护点】
一种基于EEMD‑神经网络的实时数据异常值检测方法，其特征在于：其包括以下步骤：(1)对原始历史时间序列数据，按照时间顺序进行排序，对缺失数据用0值填补，得到初步整理好的历史数据；(2)对所述初步整理好的历史数据进行异常值检测处理，把检测出的异常值用0值替换；(3)对异常值检测处理之后的历史数据进行异常值校正处理，即对数据中的0值进行填补，完成历史时间序列数据异常值检测和校正；(4)对实时数据进行异常值检测；(5)根据步骤(4)得到的异常值检测结果，对实时数据进行异常值校正。

【技术特征摘要】
1.一种基于EEMD-神经网络的实时数据异常值检测方法，其特征在于：其包括以下步骤：(1)对原始历史时间序列数据，按照时间顺序进行排序，对缺失数据用0值填补，得到初步整理好的历史数据；(2)对所述初步整理好的历史数据进行异常值检测处理，把检测出的异常值用0值替换；(3)对异常值检测处理之后的历史数据进行异常值校正处理，即对数据中的0值进行填补，完成历史时间序列数据异常值检测和校正；(4)对实时数据进行异常值检测；(5)根据步骤(4)得到的异常值检测结果，对实时数据进行异常值校正。2.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法，其特征在于：步骤(2)对初步整理好的历史数据进行异常值检测处理，包括如下步骤：(2.1)通过中位数法对所述初步整理好的历史数据进行初步检测；(2.2)通过EEMD法对所述初步检测之后的历史数据进行精细检测。3.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法，其特征在于：所述步骤(3)对异常值检测处理之后的历史数据进行异常值校正处理，采用局部曲线拟合法实现；所述步骤(4)对实时数据进行异常值检测，采用人工神经网络实现。4.根据权利要求2所述的一种基于EEMD-神经网络的实时数据异常值检测方法，其特征在于：所述通过中位数法对所述初步整理好的历史数据进行初步检测，具体为：(4.1)对于初步整理后的时间序列数据{ai}，i＝1,2,3,…,，把{ai}中的正数选出来构成一个新的数列把的中位数记为(4.2)计算中每个数与中位数的比值即(4.3)设定的阈值为r1,r2，若或者则为异常值，把异常值替换为0，时间序列数据{ai}经过替换后得到的数列为{bi}，从而完成对所述初步整理好的历史数据进行初步检测。5.根据权利要求2所述的一种基于EEMD-神经网络的实时数据异常值检测方法，其特征在于：所述通过EEMD法对所述初步检测之后的历史数据进行精细检测，具体为：(5.1)将数列{bi}中的正数选出来构成一个新的数列(5.2)通过EEMD法对进行分解，得到频率从高到低排列的n个分量；(5.3)n个分量中，舍去高频分量，把后面m个低频分量以向量求和的方式进行求和，得到一个新的数列其中，1<m<n；(5.4)计算偏差比率用于量化与的偏离程度；(5.5)设定偏差比率的阈值为d0，偏差比率大于d0的数据为异常值，再把异常值替换为0，把{bi}经过异常值替换得到的数列记为{gi}，从而完成对所述初步检测之后的数据进行精细检测。6.根据权利要求3所述的一种基于EEMD-神经网络的实时数据异常值检测方法，其特征在于：所述采用局部曲线拟合法，具体为：(6.1)对于每一段0值，包括单个0值或者是连续多个0值，前后端各选取一段序列，构成一个子序列{hi}；(6.2)对{hi}进行曲线拟合：把{hi}中的正数选出来，得到一组样本点i+表示{hi}中出现正数的位置，采用多项式对样本点进行曲线拟合，得到的多项式记为f(x)；(6.3)用曲线拟合值替换{hi}中的0值，i0表示{hi}中0值的位置，得到异常值校正后的时间序列数据{ki}，i＝1,2,3,…,t。7.根据权利要求3所述的一种基于EEMD-神经网络的实时数据异...

【专利技术属性】
技术研发人员：方海泉，蒋云钟，周铁军，万毅，冶运涛，薛惠锋，王海宁，郭姣姣，罗婷，
申请(专利权)人：中国航天系统科学与工程研究院，中国水利水电科学研究院，湖南农业大学，
类型：发明
国别省市：北京,11