一种异常检测方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种异常检测方法、装置、电子设备及存储介质，该方法通过全自动方式检测指标数据是否存在异常，相比于人工方式，效率得到提高。并且，对指标数据进行分类，得到指标数据的类别，基于指标数据的类别，获取异常检测模型，实现不同类别指标数据使用与其匹配的异常检测模型，保证异常检测模型定位的准确性。在此基础上，在异常检测模型有多个的情况下，分别利用各个异常检测模型，对指标数据进行异常检测，保证检测的全面性，并基于多个异常检测结果，确定指标数据是否存在异常，能够提高检测的准确性。提高检测的准确性。提高检测的准确性。

【技术实现步骤摘要】
一种异常检测方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种异常检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网，特别是移动互联网的高速发展，web服务已经深入到社会的各个领域(如，搜索、购物、付款、娱乐等)。因此，保障web服务的稳定已经变的越来越重要。
[0003]目前，Web服务的稳定性主要靠运维来保障，具体由运维人员通过监控关键性能指标(KPI)是否异常，来判断Web服务是否稳定。
[0004]但是，人为监控KPI是否异常存在效率低及准确性低的问题。

技术实现思路

[0005]为解决上述技术问题，本申请实施例提供一种异常检测方法、装置、电子设备及存储介质，以达到提高检测效率及准确性的目的，技术方案如下：
[0006]一种异常检测方法，包括：
[0007]获取指标数据；
[0008]对所述指标数据进行分类，得到所述指标数据的类别；
[0009]基于所述指标数据的类别，获取异常检测模型；
[0010]在所述异常检测模型有多个的情况下，分别利用各个所述异常检测模型，对所述指标数据进行异常检测，得到异常检测结果；
[0011]基于多个所述异常检测结果，确定所述指标数据是否存在异常。
[0012]可选的，所述对所述指标数据进行分类，得到所述指标数据的类别，包括：
[0013]对所述指标数据进行预处理，得到目标指标数据；
[0014]对所述目标指标数据进行分类，得到所述目标指标数据的类别。
[0015]可选的，在所述指标数据有多个，且每个所述指标数据包括时间戳和指标值的情况下，所述对所述指标数据进行预处理，得到目标指标数据，包括：
[0016]按时间先后顺序对多个所述指标数据进行排序，得到第一指标序列；
[0017]确定所述第一指标序列的指标数据缺失情况，并基于所述指标数据缺失情况，对所述第一指标序列进行缺失处理，得到第二指标序列；
[0018]对所述第二指标序列进行平滑处理，得到第三指标序列，所述第三指标序列的噪声数据少于所述第二指标序列的噪声数据；
[0019]利用盖帽算法消除所述第三指标序列中的异常数据，得到目标指标序列。
[0020]可选的，所述对所述目标指标数据进行分类，得到所述目标指标数据的类别，包括：
[0021]判断所述目标指标序列的均值是否为常数；
[0022]若为常数，则判断所述目标指标序列的方差是否存在；
[0023]若存在，则判断所述目标指标序列的自协方差是否随时间波动；
[0024]若不随时间波动，则确定所述目标指标序列为平稳性指标序列。
[0025]可选的，基于所述指标数据的类别，获取异常检测模型，包括：
[0026]若所述目标指标序列为平稳性指标序列，则获取孤立森林异常检测算法模型、PCA算法模型、LOF算法模型和HBOS算法模型；
[0027]所述分别利用各个所述异常检测模型，对所述指标数据进行异常检测，得到异常检测结果，包括：
[0028]利用所述孤立森林异常检测算法模型，对所述平稳性指标序列进行异常检测，得到所述平稳性指标序列为异常序列的第一概率和所述平稳性指标序列为正常序列的第二概率；
[0029]利用所述PCA算法模型，对所述平稳性指标序列进行异常检测，得到所述平稳性指标序列为异常序列的第三概率和所述平稳性指标序列为正常序列的第四概率；
[0030]利用所述LOF算法模型，对所述平稳性指标序列进行异常检测，得到所述平稳性指标序列为异常序列的第五概率和所述平稳性指标序列为正常序列的第六概率；
[0031]利用所述HBOS算法模型，对所述平稳性指标序列进行异常检测，得到所述平稳性指标序列为异常序列的第七概率和所述平稳性指标序列为正常序列的第八概率；
[0032]所述基于多个所述异常检测结果，确定所述指标数据是否存在异常，包括：
[0033]对所述第一概率、所述第三概率、所述第五概率及所述第七概率进行平均运算，得到第一目标概率；
[0034]对所述第二概率、所述第四概率、所述第六概率及所述第八概率进行平均运算，得到第二目标概率；
[0035]判断所述第一目标概率是否大于所述第二目标概率。
[0036]可选的，所述方法还包括：
[0037]若所述目标指标序列的均值非常数，或，所述目标指标序列的方差不存在，或，所述目标指标序列的自协方差随时间波动，则确定所述目标指标序列为非平稳性指标序列；
[0038]将所述非平稳性指标序列分割为多个指标子序列；
[0039]计算多个所述指标子序列中第一个指标子序列，与多个所述指标子序列中除所述第一个指标子序列之外的各个指标子序列之间的相似度；
[0040]计算多个所述相似度的均值，并判断多个所述相似度的均值是否超过设定阈值；
[0041]若超过所述设定阈值，则确定所述非平稳性指标序列为周期性序列；
[0042]若未超过所述设定阈值，则确定所述非平稳性指标序列为非周期性序列。
[0043]可选的，基于所述指标数据的类别，获取异常检测模型，包括：
[0044]若所述非平稳性指标序列为周期性序列，则获取长短期记忆网络模型和Prophet算法模型；
[0045]所述分别利用各个所述异常检测模型，对所述指标数据进行异常检测，得到异常检测结果，包括：
[0046]将所述周期性序列输入到长短期记忆网络模型，获得所述长短期记忆网络模型得到的在设定时间段内的第一预测序列；
[0047]利用设定大小的矩形窗口，以设定步长在所述周期性序列中滑动，得到所述矩形
窗口内的上四分位数和下四分位数；
[0048]利用所述上四分位数和所述下四分位数，得到偏离度；
[0049]将所述第一预测序列中每个指标数据与所述偏离度进行相加，得到上边界，并分别将所述第一预测序列中每个指标数据与所述偏离度进行相减，得到下边界，将多个所述上边界和多个所述下边界组成第一基准指标范围；
[0050]将所述周期性序列输入到所述Prophet算法模型，获得所述Prophet算法模型得到第二预测序列；
[0051]结合统计学的nsigma原理及历史矩形窗口中的数据计算nsigma，将所述第二预测序列与所述nsigma与n的乘积相加，得到上边界，将所述第二预测序列与所述，得到述nsigma与n的乘积相减，得到下边界，将所述下边界到所述上边界的范围作为第二基准指标范围，所述n为大于0的数；
[0052]所述基于多个所述异常检测结果，确定所述指标数据是否存在异常，包括：
[0053]对所述第一基准指标范围中的指标数据及所述第二基准指标范围中的指标数据进行加权平均运算，得到第三基准指标范围；
[0054]判断所述预测序列中指标数据是否在所述第三基准指标范围内。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常检测方法，其特征在于，包括：获取指标数据；对所述指标数据进行分类，得到所述指标数据的类别；基于所述指标数据的类别，获取异常检测模型；在所述异常检测模型有多个的情况下，分别利用各个所述异常检测模型，对所述指标数据进行异常检测，得到异常检测结果；基于多个所述异常检测结果，确定所述指标数据是否存在异常。2.根据权利要求1所述的方法，其特征在于，所述对所述指标数据进行分类，得到所述指标数据的类别，包括：对所述指标数据进行预处理，得到目标指标数据；对所述目标指标数据进行分类，得到所述目标指标数据的类别。3.根据权利要求2所述的方法，其特征在于，在所述指标数据有多个，且每个所述指标数据包括时间戳和指标值的情况下，所述对所述指标数据进行预处理，得到目标指标数据，包括：按时间先后顺序对多个所述指标数据进行排序，得到第一指标序列；确定所述第一指标序列的指标数据缺失情况，并基于所述指标数据缺失情况，对所述第一指标序列进行缺失处理，得到第二指标序列；对所述第二指标序列进行平滑处理，得到第三指标序列，所述第三指标序列的噪声数据少于所述第二指标序列的噪声数据；利用盖帽算法消除所述第三指标序列中的异常数据，得到目标指标序列。4.根据权利要求3所述的方法，其特征在于，所述对所述目标指标数据进行分类，得到所述目标指标数据的类别，包括：判断所述目标指标序列的均值是否为常数；若为常数，则判断所述目标指标序列的方差是否存在；若存在，则判断所述目标指标序列的自协方差是否随时间波动；若不随时间波动，则确定所述目标指标序列为平稳性指标序列。5.根据权利要求4所述的方法，其特征在于，基于所述指标数据的类别，获取异常检测模型，包括：若所述目标指标序列为平稳性指标序列，则获取孤立森林异常检测算法模型、PCA算法模型、LOF算法模型和HBOS算法模型；所述分别利用各个所述异常检测模型，对所述指标数据进行异常检测，得到异常检测结果，包括：利用所述孤立森林异常检测算法模型，对所述平稳性指标序列进行异常检测，得到所述平稳性指标序列为异常序列的第一概率和所述平稳性指标序列为正常序列的第二概率；利用所述PCA算法模型，对所述平稳性指标序列进行异常检测，得到所述平稳性指标序列为异常序列的第三概率和所述平稳性指标序列为正常序列的第四概率；利用所述LOF算法模型，对所述平稳性指标序列进行异常检测，得到所述平稳性指标序列为异常序列的第五概率和所述平稳性指标序列为正常序列的第六概率；利用所述HBOS算法模型，对所述平稳性指标序列进行异常检测，得到所述平稳性指标
序列为异常序列的第七概率和所述平稳性指标序列为正常序列的第八概率；所述基于多个所述异常检测结果，确定所述指标数据是否存在异常，包括：对所述第一概率、所述第三概率、所述第五概率及所述第七概率进行平均运算，得到第一目标概率；对所述第二概率、所述第四概率、所述第六概率及所述第八概率进行平均运算，得到第二目标概率；判断所述第一目标概率是否大于所述第二目标概率。6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：若所述目标指标序列的均值非常数，或，所述目标指标序列的方差不存在，或，所述目标指标序列的自协方差随时间波动，则确定所述目标指标序列为非平稳性指标序列...

【专利技术属性】
技术研发人员：朱柯，谢毅，
申请(专利权)人：北京同创永益科技发展有限公司，
类型：发明
国别省市：