系统异常检测方法和装置制造方法及图纸

本发明专利技术提供一种系统异常检测方法和装置，该方法包括：获取业务系统的KPI序列；对所述KPI序列进行序列分解，得到包含周期信息的第一KPI序列以及包含趋势信息的第二KPI序列；对所述第一KPI序列是否具有周期性进行评估处理，并且对所述第二KPI序列是否具有趋势性进行评估处理；根据评估结果，对所述KPI序列进行异常检测。本发明专利技术的方法可以准确的检测出KPI异常，检测效率高。

System anomaly detection method and apparatus

The present invention provides a system for anomaly detection method and device. The method includes: obtaining the KPI sequence of business systems; the KPI sequence of sequence decomposition, get the first KPI sequence contains periodic messages and second KPI sequence containing the trend information; on the first KPI sequence is to evaluate treatment periodicity. Whether it has assessed treatment and trend of the second KPI sequence; according to the evaluation results, the anomaly detection on the KPI sequence. The method of the invention can accurately detect the KPI anomaly, and the detection efficiency is high.

【技术实现步骤摘要】
系统异常检测方法和装置
本专利技术涉及检测技术，尤其涉及一种系统异常检测方法和装置。
技术介绍
现代通信网络极其庞大复杂，在日常运行和维护中，运营商通过获取关键性能指标(KeyPerformanceIndicator，简称KPI)、关键质量指标(KeyQualityIndicator，简称KQI)、故障管理(FaultManagement，简称FM)数据等若干网络统计指标来监控网络的运行状况。目前，主要通过检测业务的KPI来判断网络是否发生异常现象，通常将网络分为区域级和小区级进行KPI异常检测，区域级的KPI通常具有较平稳的周期性波动规律，KPI异常容易检测，而小区级中由于业务量较小、话单样本数少等原因，KPI通常会存在随机的抖动，而且，小区级的KPI数量通常是海量级的，因此，实现小区级KPI异常检测比较困难。现有技术中也存在一些小区级的KPI异常检测方法，例如，名称为《一种在云端的高音喇叭长期异常检测技术(ANovelTechniqueforLong-TermAnomalyDetectionintheCloudTweeter)》的文献提出来的一种异常检测算法，用以检测社交网络中的异常事件，例如，检测照片上传数量的异常等。该异常检测算法的核心方法是混合季节性的极端学生化偏差(SeasonalHybridESD，简称S-H-ESD，其中，ESD为极端学生化偏差(ExtremeStudentizedDeviate，简称ESD))，该方法的步骤具体如下：步骤1：采用基于Loess的季节效应时间序列分级算法(SeasonalDecompositionofTimeSeriesbyLoess，简称STL)算法将获取到的KPI序列分解为三个序列：包含周期信息的序列，包含趋势信息的序列，包含剩余信息的序列。步骤2：从KPI序列中去除包含周期信息的序列，并将去除包含周期信息的序列的KPI序列中的中位数去除。步骤3：采用ESD检验方法对步骤2最终获得的KPI序列进行异常检测，具体为用步骤2最终获得的KPI序列的中位数来代替ESD检验公式中的均值，用步骤2最终获得的KPI序列的中位绝对偏差(MAD)来代替ESD检验公式中的标准差，从而计算出KPI的标准分数(z-score)。步骤4：根据KPI的标准分数z-score对异常检测结果进行后过滤，输出异常检测结果，对异常检测结果中的异常的KPI进行研究，从而获取网络的运行状况。经过试验验证，现有技术中通过减去周期信息序列的KPI异常检测方法，无法准确的检测到异常的KPI，甚至会出现无法检测到异常的KPI的现象，因此，导致KPI异常检测的准确率和效率很低。
技术实现思路
本专利技术提供一种系统异常检测方法和装置，可以准确的检测出系统中的KPI异常，检测效率高。第一方面，本专利技术实施例提供一种系统异常检测方法，包括：获取业务系统的KPI序列；对所述KPI序列进行序列分解，得到包含周期信息的第一KPI序列以及包含趋势信息的第二KPI序列；对所述第一KPI序列是否具有周期性进行评估处理，并且对所述第二KPI序列是否具有趋势性进行评估处理；根据评估结果，对所述KPI序列进行异常检测。本实施例中，对分解获得的包含周期信息的周期序列进行周期性评估，对包含趋势信息的趋势序列进行趋势性评估，根据KPI序列的周期性和趋势性分多种情况，具有针对性的采用不同的方法对不同情况下的KPI序列进行检测，可以准确的检测出KPI异常，检测效率高。结合第一方面，在第一方面的第一种可能实现方式中，所述根据评估结果，对所述KPI序列进行异常检测，包括：若所述第一KPI序列没有周期性且所述第二KPI序列没有趋势性，则对所述KPI序列的全部数据建立数据分布进行单点异常检测；若所述第一KPI序列有周期性且所述第二KPI序列没有趋势性，则对所述KPI序列各周期中的同一时刻的数据建立数据分布进行单点异常检测；若所述第一KPI序列没有周期性且所述第二KPI序列有趋势性，则对所述KPI序列的全部数据建立分裂点检测，然后进行时段异常检测并从所述KPI序列删除掉所述异常点，再进行单点异常检测；若所述第一KPI序列有周期性且所述第二KPI序列有趋势性，则对所述第二KPI序列进行分裂点检测，然后进行时段异常检测并从所述KPI序列中删除所述异常点，再进行单点异常检测。本实施例中，根据KPI序列的周期性和趋势性分四种情况，针对每种情况的采用不同的方法进行异常检测，可以准确的检测出KPI异常，检测效率高。结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，若所述第一KPI序列没有周期性且所述第二KPI序列没有趋势性，则对所述KPI序列的全部数据建立数据分布进行单点异常检测，包括：根据所述KPI序列的全部数据计算所述KPI序列的截尾均值和所述KPI序列的标准差；根据所述截尾均值和所述标准差计算所述KPI序列中每个数据的标准分数z-score；将所述z-score大于第一预设阈值或所述z-score小于第二预设阈值的数据标记为异常数据，得到包括所述异常数据的第三KPI序列；对所述第三KPI序列进行异常结果后过滤，并输出异常检测结果。本实施例的方法，KPI在不同时刻的方差差异较小，同时也没有趋势效应，所以可以统一地用所有的数据，计算KPI序列中每个数据的z-score根据z-score判断每个点的KPI异常程度，方法简单，检测效率高。结合第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，若所述第一KPI序列有周期性且所述第二KPI序列没有趋势性，则对所述KPI序列各周期中的同一时刻的数据建立数据分布进行单点异常检测，包括：根据所述KPI序列各周期中的同一时刻的数据计算相同时刻KPI的截尾均值和标准差；根据所述截尾均值和所述标准差计算所述相同时刻KPI的标准分数z-score；将所述z-score大于第一预设阈值或所述z-score小于第二预设阈值的数据标记为异常数据，得到包括异常数据的第四KPI序列；对所述第四KPI序列进行异常结果后过滤，并输出异常检测结果。本实施例的方法，KPI在不同时刻可能出现不同的方差，因此，根据KPI序列各周期中的同一时刻的数据计算z-score，不论计算哪一个周期中统一时刻的z-score，其标准差均是相同的，从而避免了不同时刻的方差差异造成的KPI异常检测不准确的问题。结合第一方面的第一种可能实现方式，在第一方面的第四种可能实现方式中，若所述第一KPI序列没有周期性且所述第二KPI序列有趋势性，则对所述KPI序列的全部数据建立分裂点检测，然后进行时段异常检测并从所述KPI序列中删除掉所述异常点，再进行单点异常检测，包括：根据变化点检测算法从所述KPI序列中确定分裂点，将所述KPI序列分为多个KPI子序列；将均值最大或者均值最小的KPI子序列与其他KPI子序列的均值差异进行比较，获取每个KPI子序列的p值p-value；对所述每个KPI子序列的p-value进行多重比较校正，获得所述每个KPI子序列的校正p值adj.p-value；将均值最大或者均值最小的KPI子序列与所述adj.p-value大于预设阈值的KPI子序列标记为第一异常KPI序列；从所述KPI序列中减去所述第一异常KPI序列，本文档来自技高网...

【技术保护点】
一种系统异常检测方法，其特征在于，包括：获取业务系统的KPI序列；对所述KPI序列进行序列分解，得到包含周期信息的第一KPI序列以及包含趋势信息的第二KPI序列；对所述第一KPI序列是否具有周期性进行评估处理，并且对所述第二KPI序列是否具有趋势性进行评估处理；根据评估结果，对所述KPI序列进行异常检测。

【技术特征摘要】
1.一种系统异常检测方法，其特征在于，包括：获取业务系统的KPI序列；对所述KPI序列进行序列分解，得到包含周期信息的第一KPI序列以及包含趋势信息的第二KPI序列；对所述第一KPI序列是否具有周期性进行评估处理，并且对所述第二KPI序列是否具有趋势性进行评估处理；根据评估结果，对所述KPI序列进行异常检测。2.根据权利要求1所述的方法，其特征在于，所述根据评估结果，对所述KPI序列进行异常检测，包括：若所述第一KPI序列没有周期性且所述第二KPI序列没有趋势性，则对所述KPI序列的全部数据建立数据分布进行单点异常检测；若所述第一KPI序列有周期性且所述第二KPI序列没有趋势性，则对所述KPI序列各周期中的同一时刻的数据建立数据分布进行单点异常检测；若所述第一KPI序列没有周期性且所述第二KPI序列有趋势性，则对所述KPI序列的全部数据建立分裂点检测，然后进行时段异常检测并从所述KPI序列删除掉所述异常点，再进行单点异常检测；若所述第一KPI序列有周期性且所述第二KPI序列有趋势性，则对所述第二KPI序列进行分裂点检测，然后进行时段异常检测并从所述KPI序列中删除所述异常点，再进行单点异常检测。3.根据权利要求2所述的方法，其特征在于，若所述第一KPI序列没有周期性且所述第二KPI序列没有趋势性，则对所述KPI序列的全部数据建立数据分布进行单点异常检测，包括：根据所述KPI序列的全部数据计算所述KPI序列的截尾均值和所述KPI序列的标准差；根据所述截尾均值和所述标准差计算所述KPI序列中每个数据的标准分数z-score；将所述z-score大于第一预设阈值或所述z-score小于第二预设阈值的数据标记为异常数据，得到包括所述异常数据的第三KPI序列；对所述第三KPI序列进行异常结果后过滤，并输出异常检测结果。4.根据权利要求2所述的方法，其特征在于，若所述第一KPI序列有周期性且所述第二KPI序列没有趋势性，则对所述KPI序列各周期中的同一时刻的数据建立数据分布进行单点异常检测，包括：根据所述KPI序列各周期中的同一时刻的数据计算相同时刻KPI的截尾均值和标准差；根据所述截尾均值和所述标准差计算所述相同时刻KPI的标准分数z-score；将所述z-score大于第一预设阈值或所述z-score小于第二预设阈值的数据标记为异常数据，得到包括异常数据的第四KPI序列；对所述第四KPI序列进行异常结果后过滤，并输出异常检测结果。5.根据权利要求2所述的方法，其特征在于，若所述第一KPI序列没有周期性且所述第二KPI序列有趋势性，则对所述KPI序列的全部数据建立分裂点检测，然后进行时段异常检测并从所述KPI序列中删除掉所述异常点，再进行单点异常检测，包括：根据变化点检测算法从所述KPI序列中确定分裂点，将所述KPI序列分为多个KPI子序列；将均值最大或者均值最小的KPI子序列与其他KPI子序列的均值差异进行比较，获取每个KPI子序列的p值p-value；对所述每个KPI子序列的p-value进行多重比较校正，获得所述每个KPI子序列的校正p值adj.p-value；将均值最大或者均值最小的KPI子序列与所述adj.p-value大于预设阈值的KPI子序列标记为第一异常KPI序列；从所述KPI序列中减去所述第一异常KPI序列，获得第五KPI序列；对所述第五KPI序列的全部数据建立数据分布进行单点异常检测，获得第二异常KPI序列；对所述第一异常KPI序列和所述第二异常KPI序列异常结果后过滤，并输出异常检测结果。6.根据权利要求2所述的方法，其特征在于，若所述第一KPI序列有周期性且所述第二KPI序列有趋势性，则对所述第二KPI序列进行分裂点检测，然后进行时段异常检测并从所述KPI序列中删除所述异常点，再进行单点异常检测，包括：根据变化点检测算法从所述第二KPI序列中确定分裂点，将所述第二KPI序列分为多个KPI子序列；将均值最大或者均值最小的KPI子序列与其他KPI子序列的均值差异进行比较，获取每个KPI子序列的p值p-value；对所述每个KPI子序列的p-value进行多重比较校正，获得所述每个KPI子序列的校正p值adj.p-value；将均值最大或者均值最小的KPI子序列与所述adj.p-value大于预设阈值的KPI子序列标记为第三异常KPI序列；从所述KPI序列中减去所述第三异常KPI序列，获得第六KPI序列；对所述第六KPI序列各周期中的同一时刻的数据建立数据分布进行单点异常检测，获取第四异常KPI序列；对所述第三异常KPI序列和所述第四异常KPI序列异常结果后过滤，并输出异常检测结果。7.根据权利要求1～6任一项所述的方法，其特征在于，所述对所述第一KPI序列是否具有周期性进行评估处理，包括：根据公式计算所述第一KPI序列的周期值Effects；其中，Var(S)为所述第一KPI序列的方差，Var(KPI)为所述KPI序列的方差；若所述第一KPI序列的周期值Effects大于预设周期阈值，则所述第一KPI序列具有周期性。8.根据权利要求1～7任一项所述的方法，其特征在于，所述对所述第二KPI序列是否具有趋势性进行评估处理，包括：根据公式计算所述第二KPI序列的趋势值EffectT；其中，为Var(T)所述第二KPI序列的方差，Var(KPI)为所述KPI序列的方差；若所述第二KPI序列的趋势值EffectT大于预设趋势阈值，则所述第二KPI序列具有趋势性。9.根据权利要求1～8任一项所述的方法，其特征在于，所述获取业务系统的KPI序列，包括：在业务系统上进行业务数据采集；根据业务规则对所采集的业务数据进行KPI计算，得到原始KPI序列；对所述原始KPI序列进行预处理，得到所述KPI序列，所述预处理包括对极端离群的数据点处理和对缺失数据的处理。10.根据权利要求9所述的方法，其特征在于，所述对极端离群的数据点处理，包括：根据所述KPI序列各周期中的同一时刻的数据计算相同时刻KPI的截尾均值和标准差；根据所述截尾均值和所述标准差计算所述相同时刻KPI的标准分数z-score；判断所述z-score的绝对值是否大于第三预设阈值，若是，则将所述z-score对应的数据标记为异常数据进行输出，并将所述异常数据设置为缺失数据，返回执行根据所述KPI序列各周期中的同一时刻的数据计算相同时刻KPI的截尾均值和标准差的步骤；若否，则输出所述z-score对应的数据。11.根据权利要求9或10所述的方法，其特征在于，所述对缺失数据的处理，包括：根据公式计算所述KPI序列的加权平均值hat(xi)；其中，xi和xi+kt为所述KPI序列中不同周期同一时刻的数据，wk为所述KPI序列中的数据对应的权重，t为所述KPI序列的周期，k为大于等于1的正整数；采用所述KPI序列的加权平均值hat(xi)代替所述KPI序列中的缺失数据。12.一种系统异常检测装置，其特征在于，包括：获取模块，用于获取业务系统的KPI序列；分解模块，用于对所述KPI序列进行序列分解，得到包含周期信息的第一KPI序列以及包含趋势信息的第二KPI...

【专利技术属性】
技术研发人员：张建锋，潘璐伽，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44