基于多统计特征的海量时间序列流数据异常检测方法技术

本发明专利技术涉及一种基于多统计特征的海量时间序列流数据异常检测方法，该方法包括：S101、迭代估计多个统计特征的值以及这些统计特征的均值、方差；S102、根据统计特征的均值、方差计算标准差系数，选择小于给定筛选上限的标准差系数的统计特征；S103、根据选择的统计特征的均值、方差以及给定的容限系数给出统计特征正常范围；S104、在线计算选择的统计特征并检查是否在正常范围内，不在正常范围则报警并根据统计特征的类型给出异常类别。本发明专利技术提供了一种基于多统计特征的时间序列流数据异常检测方法，减少了对人工的依赖，不需要存储历史数据，节约了存储资源。节约了存储资源。节约了存储资源。

【技术实现步骤摘要】
基于多统计特征的海量时间序列流数据异常检测方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于多统计特征的海量时间序列流数据异常检测方法。

技术介绍

[0002]在设备的在线状态监测过程中，传感器采集的数据连续到达，可视作时间持续并无限增长的动态数据集合，即时间序列流数据。通过将时间序列流数据异常检测技术运用于传感器采集的数据，监测人员能够实时确定设备的健康状态，从而保障设备的长期有效运行。
[0003]然而，随着设备大型化、复杂化，设备搭载的传感器数据不断增加，采样间隔不断缩小，从而导致时间序列流数据量大幅增加，同时增加了异常检测的难度。一方面，依靠规则驱动和物理模型驱动的异常检测方法依赖人工对设备机理和故障行为的分析，为实现对海量传感器异常检测的覆盖，需要消耗大量的人力成本；另一方面，传统的数据驱动异常检测方法需依赖大量历史数据用于训练，为将海量时间序列流数据落盘存储转化为批数据，需要大量的存储空间与高速的存储记录设备。
[0004]基于上述方法的应用缺陷，针对海量时间序列流数据的异常检测需求，本专利技术提出一种基于多统计特征的海量时间序列流数据异常检测方法，旨在解决现有技术依赖人工和占用存储资源过大的问题，提供自动产生异常检测模型、无需存储历史数据的在线状态监测方案，保障设备的长期有效运行。

技术实现思路

[0005]为了解决现有技术中依赖人工、存储资源占用量大的问题，本专利技术提出一种基于多统计特征的海量时间序列流数据异常检测方法，通过在多个统计特征自动选择有效的子集并生成统计特征的正常范围，不依赖人工地自动产生了异常检测模型；采用迭代方法估计统计特征，有效的避免了大量数据的存储。本专利技术提供：
[0006]一种基于多统计特征的海量时间序列流数据异常检测方法，包括以下步骤：
[0007]S101、迭代估计多个统计特征的值以及这些统计特征的均值、方差；
[0008]S102、根据统计特征的均值、方差计算标准差系数，选择小于给定筛选上限的标准差系数的统计特征；
[0009]S103、根据选择的统计特征的均值、方差以及给定的容限系数给出统计特征正常范围；
[0010]S104、在线计算选择的统计特征并检查是否在正常范围内，不在正常范围则报警并根据统计特征的类型给出异常类别。
[0011]所述步骤S101，迭代估计多个统计特征的值以及这些统计特征的均值、方差，包括以下步骤：
[0012]S201、初始化统计特征的迭代初值；
[0013]S202、迭代估计多个统计特征的值；
[0014]S203、迭代次数到达步数N1后，更换统计特征的迭代式为含有信息衰减的迭代式，初始化每个统计特征的均值、方差的迭代初值；
[0015]S204、迭代估计每个统计特征的均值、方差；
[0016]S205、迭代次数到达步数N2后，执行步骤S102。
[0017]本专利技术的上述方案至少包括以下有益效果：
[0018]本专利技术提供的异常检测方法的具备模型自动生成的能力，除需要提前给定算法运行的特征全集、筛选上限、容限系数、迭代步数N1、迭代步数N2外，无需人工介入，减少了对人工的依赖；本专利技术采用迭代的方法估计统计特征，仅需要对迭代式中使用的数据进行存储，不需要存储历史数据，节约了存储资源。
附图说明
[0019]图1为本专利技术实施例提供的一种基于多统计特征的海量时间序列流数据异常检测方法的流程图；
[0020]图2为本专利技术实施例提供的一种基于多统计特征的海量时间序列流数据异常检测方法中迭代估计多个统计特征的值以及这些统计特征的均值、方差的流程图。
具体实施方式
[0021]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，非限定本专利技术的范围。
[0022]为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释并公开，而非对本申请的限定。基于所描述的本申请的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
[0023]如图1所示，本专利技术的实施例提供一种基于多统计特征的海量时间序列流数据异常检测方法，包括以下步骤：
[0024]S101、迭代估计多个统计特征的值以及这些统计特征的均值、方差；
[0025]S102、根据统计特征的均值、方差计算标准差系数，选择小于给定筛选上限的标准差系数的统计特征；
[0026]S103、根据选择的统计特征的均值、方差以及给定的容限系数给出统计特征正常范围；
[0027]S104、在线计算选择的统计特征并检查是否在正常范围内，不在正常范围则报警并根据统计特征的类型给出异常类别。
[0028]所述步骤S101，迭代估计多个统计特征的值以及这些统计特征的均值、方差，包括以下步骤：
[0029]S201、初始化统计特征的迭代初值；
[0030]S202、迭代估计多个统计特征的值；
[0031]S203、迭代次数到达步数N1后，更换统计特征的迭代式为含有信息衰减的迭代式，
初始化每个统计特征的均值、方差的迭代初值；
[0032]S204、迭代估计每个统计特征的均值、方差；
[0033]S205、迭代次数到达步数N2后，执行步骤S102。
[0034]在本专利技术提供的一个实施例中，记时间序列为x1,
…
,x
n
，在所述步骤S101中，多个统计特征包括：
[0035]1、均值Favg，原始计算表达式为
[0036]2、方差Fvar，原始计算表达式为
[0037]3、标准差Fstd，原始计算表达式为
[0038]4、偏度Fsk，原始计算表达式为
[0039]5、一阶差分的均值Fmd，原始计算表达式为
[0040]在原始的计算表达式中，需要存储长度为n的数据，占用了大量的存储空间。
[0041]在所述步骤S201中，记时间序列为x1,
…
,x
n
，多个统计特征的迭代初值包括：
[0042]1、均值，Favg1＝x1；
[0043]2、方差，Fvar1＝0；
[0044]3、标准差，Fstd1＝0；
[0045]4、偏度，Fsk1＝0；
[0046]5、一阶差分均值，Fmd2＝x2‑
x1。
[0047]在所述步骤S202中，多个统计特征的迭代估计方法包括：
[0048]1、均值，
[0049]2、方差，
[0050]3、标准差，
[0051]4、偏度，4、偏度，
[0052]5、一阶差分均值，
[0053]运用以上表达式估计统计特征，仅需存储上一次与本次迭代的统计特征值和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多统计特征的海量时间序列流数据异常检测方法，其特征在于，包括步骤：：S101、迭代估计多个统计特征的值以及这些统计特征的均值、方差；S102、根据统计特征的均值、方差计算标准差系数，选择小于给定筛选上限的标准差系数的统计特征；S103、根据选择的统计特征的均值、方差以及给定的容限系数给出统计特征正常范围；S104、在线计算选择的统计特征并检查是否在正常范围内，不在正常范围则报警并根据统计特征的类型给出异常解释。2.根据权利要求1所述的一种基于多统计...

【专利技术属性】
技术研发人员：于劲松，梁思远，周金浛，唐荻音，周倜，苗毅，陶来发，刘浩，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：