基于大数据的数据分析处理方法技术

本发明专利技术涉及数据处理技术领域，提出了基于大数据的数据分析处理方法，包括：采集设备运行的振动数据，得到待压缩的设备运行大数据；通过旋转门趋势算法获取设备运行大数据的若干拐点数据，根据拐点数据前后的振动数据及趋势，获取每个拐点数据的异常可能性并得到若干异常数据；根据异常数据与前后的振动数据的趋势，获取每个邻域范围的趋势一致性并得到最小一致范围；结合异常数据之前的振动数据，得到每个异常数据的平滑范围及平滑数据；通过平滑数据对异常数据进行替换，得到替换后的设备运行大数据并进行旋转门趋势算法压缩

【技术实现步骤摘要】
基于大数据的数据分析处理方法


[0001]本专利技术涉及数据处理
，具体涉及基于大数据的数据分析处理方法
。

技术介绍

[0002]大数据作为一种规模庞大
、
种类多样
、
处理速度快的数据集合，通常被用来进行各种设备的实时运行状态监测，以此来进行设备运行的异常及故障的实时监控；然而设备运行的大数据的数据量规模较大，同时实时性要求较高，因此如何对此规模的大数据进行有效存储一直是一个重要问题
。
[0003]现有对于设备运行大数据进行实时压缩采用的技术通常为旋转门趋势算法，该算法是一种可控精度的有损压缩算法，对于变化较为平稳的可损失部分信息的大数据可以进行实时压缩，但是旋转门趋势算法对于数据中的噪声极其敏感，在进行压缩的过程中，如果遇到噪声数据时则会影响旋转门趋势算法的趋势判断，进而使得整体的压缩率变低，提升存储成本；而设备运行大数据中伴随设备运行必然会存在异常数据，这些异常数据在对设备处理完成后，仍会参与存储，异常数据的离群特点同噪声数据一样会影响旋转门趋势算法的趋势判断，进而影响设备运行大数据的压缩效率，导致对设备运行大数据的实时分析受到干扰
。

技术实现思路

[0004]本专利技术提供基于大数据的数据分析处理方法，以解决现有的设备运行大数据进行存储时受异常数据影响导致压缩效率较低的问题，所采用的技术方案具体如下：本专利技术一个实施例提供了基于大数据的数据分析处理方法，该方法包括以下步骤：采集设备运行的振动数据，得到待压缩的设备运行大数据；通过旋转门趋势算法获取设备运行大数据的若干拐点数据，根据拐点数据前后的振动数据及趋势，获取每个拐点数据的异常可能性并得到若干异常数据；根据异常数据与前后的振动数据的趋势，获取每个邻域范围的趋势一致性并得到最小一致范围；结合异常数据之前的振动数据，得到每个异常数据的平滑范围及平滑数据；通过平滑数据对异常数据进行替换，得到替换后的设备运行大数据并进行旋转门趋势算法压缩
。
[0005]进一步的，所述得到待压缩的设备运行大数据，包括的具体方法为：采集设备的所有振动数据组成振动数据序列，通过对振动数据进行编码得到调整后的振动数据序列，作为待压缩的设备运行大数据
。
[0006]进一步的，所述设备运行大数据的若干拐点数据，具体的获取方法为：对设备运行大数据通过旋转门趋势算法进行压缩，通过旋转门压缩得到设备运行大数据中的若干拐点，将拐点对应的振动数据记为拐点数据
。
[0007]进一步的，所述获取每个拐点数据的异常可能性并得到若干异常数据，包括的具
体方法为：对于任意一个压缩周期压缩到周期内第
n
个振动数据时，该振动数据为拐点数据，该拐点数据的异常可能性的计算方法为：
;
其中，
P
n
表示该压缩周期中第
n
个振动数据作为拐点数据时的异常系数，
γ
n,n
‑1表示该拐点数据与相邻前一个振动数据的趋势，表示该压缩周期的整体趋势，
A
n
表示该拐点数据的数据值，表示从该拐点数据的相邻后一个振动数据开始，共
n
‑1个振动数据的均值；
||
表示求绝对值；根据拐点数据的异常系数，获取每个拐点数据的异常可能性及异常数据
。
[0008]进一步的，所述每个拐点数据的异常可能性及异常数据，具体的获取方法为：获取每个拐点数据的异常系数，对所有异常系数进行线性归一化，得到的结果记为每个拐点数据的异常可能性；将异常可能性大于异常阈值的拐点数据记为异常数据，得到设备运行大数据中的若干异常数据
。
[0009]进一步的，所述获取每个邻域范围的趋势一致性并得到最小一致范围，包括的具体方法为：对于任意一个压缩周期压缩到周期内第
i
个振动数据时，该振动数据为异常数据，获取该异常数据的若干邻域范围，其中邻域范围
m
的趋势一致性
QY
m
的计算方法为：
;
其中，
γ
n
‑
m,n
‑1表示该异常数据之前第
m
个振动数据与相邻前一个振动数据之间的整体趋势，
γ
n+1,n+m
表示该异常数据相邻后一个振动数据与之后第
m
个振动数据之间的整体趋势，
||
表示求绝对值，
exp( )
表示以自然常数为底数的指数函数；对该异常数据获取每个邻域范围的趋势一致性，将趋势一致性中最大值对应的邻域范围，作为该异常数据的最小一致范围，若最大值对应多个邻域范围，将对应的多个邻域范围中最小的邻域范围作为最小一致范围
。
[0010]进一步的，所述得到每个异常数据的平滑范围及平滑数据，包括的具体方法为：对于任意一个压缩周期压缩到周期内第
i
个振动数据时，该振动数据为异常数据，该异常数据的平滑范围
L
的计算方法为：；；其中，
m0表示该异常数据的最小一致范围，
δ
表示该异常数据的整体离群程度，
A
i
表示该异常数据的数据值，
A
j
表示该异常数据之前共
m0个振动数据中第
j
个振动数据的数据值，
[ ]表示四舍五入取整，
||
表示求绝对值，
exp( )
表示以自然常数为底数的指数函数；
获取每个异常数据的平滑范围，根据异常数据之前平滑范围内的振动数据，得到每个异常数据的平滑数据
。
[0011]进一步的，所述得到每个异常数据的平滑数据，包括的具体方法为：根据异常数据之前平滑范围内的振动数据，获取每个异常数据的平滑范围内的误差程度；对于任意一个压缩周期压缩到周期内第
i
个振动数据时，该振动数据为异常数据，该异常数据的平滑数据
B
i
的计算方法为：；其中，
L
表示该异常数据的平滑范围，
A
l
表示该异常数据之前共
L
个振动数据中第
l
个振动数据的数据值，表示该异常数据之前共
L
个振动数据的整体趋势，
C
i
表示该异常数据的平滑范围内的误差程度
。
[0012]进一步的，所述每个异常数据的平滑范围内的误差程度，具体的获取方法为：；其中，
C
i
表示该异常数据的平滑范围内的误差程度，
A
l
表示该异常数据之前共
L
个振动数据中第
l
个振动数据的数据值，表示该异常数据之前共
L
个振动数据的整体趋势，
A
l+1
表示该异常数据之前共本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于大数据的数据分析处理方法，其特征在于，该方法包括以下步骤：采集设备运行的振动数据，得到待压缩的设备运行大数据；通过旋转门趋势算法获取设备运行大数据的若干拐点数据，根据拐点数据前后的振动数据及趋势，获取每个拐点数据的异常可能性并得到若干异常数据；根据异常数据与前后的振动数据的趋势，获取每个邻域范围的趋势一致性并得到最小一致范围；结合异常数据之前的振动数据，得到每个异常数据的平滑范围及平滑数据；通过平滑数据对异常数据进行替换，得到替换后的设备运行大数据并进行旋转门趋势算法压缩
。2.
根据权利要求1所述的基于大数据的数据分析处理方法，其特征在于，所述得到待压缩的设备运行大数据，包括的具体方法为：采集设备的所有振动数据组成振动数据序列，通过对振动数据进行编码得到调整后的振动数据序列，作为待压缩的设备运行大数据
。3.
根据权利要求1所述的基于大数据的数据分析处理方法，其特征在于，所述设备运行大数据的若干拐点数据，具体的获取方法为：对设备运行大数据通过旋转门趋势算法进行压缩，通过旋转门压缩得到设备运行大数据中的若干拐点，将拐点对应的振动数据记为拐点数据
。4.
根据权利要求1所述的基于大数据的数据分析处理方法，其特征在于，所述获取每个拐点数据的异常可能性并得到若干异常数据，包括的具体方法为：对于任意一个压缩周期压缩到周期内第
n
个振动数据时，该振动数据为拐点数据，该拐点数据的异常可能性的计算方法为：
;
其中，
P
n
表示该压缩周期中第
n
个振动数据作为拐点数据时的异常系数，
γ
n,n
‑1表示该拐点数据与相邻前一个振动数据的趋势，表示该压缩周期的整体趋势，
A
n
表示该拐点数据的数据值，表示从该拐点数据的相邻后一个振动数据开始，共
n
‑1个振动数据的均值；
||
表示求绝对值；根据拐点数据的异常系数，获取每个拐点数据的异常可能性及异常数据
。5.
根据权利要求4所述的基于大数据的数据分析处理方法，其特征在于，所述每个拐点数据的异常可能性及异常数据，具体的获取方法为：获取每个拐点数据的异常系数，对所有异常系数进行线性归一化，得到的结果记为每个拐点数据的异常可能性；将异常可能性大于异常阈值的拐点数据记为异常数据，得到设备运行大数据中的若干异常数据
。6.
根据权利要求1所述的基于大数据的数据分析处理方法，其特征在于，所述获取每个邻域范围的趋势一致性并得到最小一致范围，包括的具体方法为：对于任意一个压缩周期压缩到周期内第
i
个振动数据时，该振动数据为异常数据，获取该异常数据的若干邻域范围，其中邻域范围
m
的趋势一致性
QY
m
的计算方法为：
;
其中，
γ
n
‑
m,n
‑1表示该异常数据之前第
m
个振动数据与相邻前一个振动数据之间的整体趋势，
γ
n+1,n+m
表示该异常数据相邻后一个振动数据与之后第
m
个振动数据之间的整体趋势，
||
表示求绝对值，
exp( )
表示以自然常数为底数的指数函数；对该异常数据获取每个邻域范围的趋势一致性，将趋势一致性中最大值对应的邻域范围，作为该异常数据的最小一致范围，...

【专利技术属性】
技术研发人员：曲宝春，张斌，
申请(专利权)人：苏州爱雄斯通信技术有限公司，
类型：发明
国别省市：