用于异常检测的方法、设备以及计算机存储介质技术

公开了一种采用有效性检测的基于FFT

【技术实现步骤摘要】
【国外来华专利技术】用于异常检测的方法、设备以及计算机存储介质


[0001]本公开涉及机器学习领域，特别涉及用于异常检测的方法、设备以及计算机存储介质。

技术介绍

[0002]随着流量套餐的多元化营销，流量业务对网络负荷的影响日趋严重，尤其物联网海量连接，对网管监控提出了更高要求，网管系统面临的挑战越来越大。网管系统在对流量数据的监控中，异常值通常会造成对正常流量数据的污染：例如，利用机器学习模型通过对过去的流量数据进行学习，预测未来一段时间的流量变化的系统中，异常值会对学习模型产生干扰，从而降低未来预测的精确度。在实际应用中，通常是在进行进一步分析处理之前，将异常点去除，因而需要异常检测。
[0003]异常检测的目的是识别偏离一般数据分布的外围对象，因此异常检测可以被视为是数据不均衡下的分类问题。分类问题按照标签的有无可以被分为有监督学习问题和无监督学习问题。但在现实情况中，由于异常检测问题往往是没有标签的，训练数据中并未标出哪些是异常点，因此必须使用无监督学习。
[0004]目前，常用的异常检测方法包括统计与概率模型、线性模型、基于邻近度的模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种异常检测方法(400)，包括：针对原始时间序列应用(S401)快速傅里叶变换FFT、高频滤波和逆快速傅里叶变换IFFT，以得到第一时间序列，其中所述原始时间序列上的点指示在对节点的检测时段内检测到的数据；分别将所述原始时间序列中的各点指示的数据与所述第一时间序列中的相应点指示的数据进行比较(S403)；在所述原始时间序列中的点指示的数据与所述第一时间序列中的相应点指示的数据之差大于第一预定阈值的情况下(自S403的“是”)，对所述原始时间序列中的该点进行插值(S407)，以获得第二时间序列；针对所述第二时间序列应用(S401)所述FFT、高频滤波和IFFT，以得到第三时间序列；以及在所述原始时间序列中的点指示的数据与所述第三时间序列中的相应点指示的数据之差大于所述第一预定阈值的情况下(自S403的“是”)，将所述原始时间序列中的点确定(S409)为所述原始时间序列的异常点。2.根据权利要求1所述的异常检测方法(400)，其中，对所述原始时间序列中的该点进行插值(S407)包括：用所述原始时间序列中的该点的相邻点指示的数据的平均值替换所述原始时间序列中的该点指示的值。3.根据权利要求1或2所述的异常检测方法(400)，其中，所述第一预定阈值被设置为所述原始时间序列中的点指示的数据与所述第一时间序列中的相应点指示的数据之差的标准差的预定整数倍。4.根据权利要求1所述的异常检测方法(700)，还包括：针对在对节点的检测周期内的一时刻，提取在检测时段内的每个检测周期的所述时刻检测到的数据，以生成(S701)所述时刻的时间序列，所述时刻的时间序列上的点指示在相应检测周期中的所述时刻检测到的数据；计算(S703)所述时刻的时间序列上的各点与相邻点之间的距离；将计算得到的最大距离与第二预定阈值进行比较(S705)；以及在所述最大距离大于第二预定阈值的情况下(自S705的“是”)，将具有所述最大距离的点确定(S707)为异常点。5.根据权利要求4所述的异常检测方法(700)，还包括：针对所述时刻的时间序列中除所述异常点之外的其他点，重复所述计算、比较和确定的操作，直至所述最大距离不超过第二预定阈值、或所确定的异常点的数量超过第三预定阈值(自S705的“否”)。6.根据权利要求4或5所述的异常检测方法(700)，其中，各点与相邻点之间的距离为该点与前一点和后一点的距离的平均。7.根据权利要求4至6中任一项所述的异常检测方法(700)，其中，在计算所述时刻的时间序列上的各点与相邻点之间的距离之前，对所述时刻的时间序列上的点指示的所述数据进行预处理(S702)，所述预处理包括以下至少一项：
丢弃所有非数字NaN值；以及对所述数据进行归一化处理。8.根据权利要求4至7中任一项所述的异常检测方法(700)，其中所述第二预定阈值通过网格法设置。9.根据权利要求1至8中任一项所述的异常检测方法(1000)，还包括：针对具有异常点的时间序列，设置(S1001)第一窗口，所述第一窗口以第一个异常点作为起始位置；以及针对所述第一窗口，执行确定异常区间的操作，所述确定异常区间的操作包括：确定(S1003)所述第一窗口内的异常点数量是否达到第四预定阈值；在...

【专利技术属性】
技术研发人员：陆文娟，蒙奕宗，殷晓军，朱婷，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：