一种异常检测方法、应用和监控设备技术

本发明专利技术公开了一种异常检测方法，在监控设备中执行，适于对被监控设备的一个或多个周期性性能指标进行实时异常检测，该方法包括：获取被监控设备的某个周期性性能指标的第一时间序列，第一时间序列包括[t0，tnow]时间段内所述周期性性能指标的多个观测值；设置每周期数据量n0；根据每周期数据量n0和第一时间序列确定第二时间序列X，第二时间序列包括从[tnow‑δ*n0+1，tnow]时间段内该周期性性能指标的多个观测值；将X进行STL分解，拆分为周期序列S、趋势序列T、残差序列R；根据X和S确定待检测数组D；采用改进的ESD算法确定D中的异常点和各异常点的离群分值。本发明专利技术还公开了能够实施上述方法的异常检测应用，和包括上述应用的监控设备。

【技术实现步骤摘要】

本专利技术涉及计算设备性能监控
，尤其涉及一种能够对被监控设备的一个或多个周期性性能指标进行实时异常检测的方法、应用和监控设备。
技术介绍
随着信息技术的发展，各种应用、网站层出不穷，对计算设备的性能提出了更高的要求。对各项性能指标进行监控，实时获取计算设备的运行状态并排查异常，是提高其计算性能的必要步骤。一般来说，监控的性能指标包括CPU利用率、吞吐量、响应时间，等等。在监控时，每隔一段时间对各性能指标进行一次采样，因此，每个性能指标的监控结果呈现为一个时间序列。此外，一些性能指标存在一定的周期性，例如吞吐量在白天较高，晚上降低，因为白天的活跃用户及活跃应用较多。ESD(Extreme Studentized Deviate，极端学生化偏差)检测是一种常用的离群点检测方法，但是其时间复杂度为O(N^2)，耗时长，因而无法实现对时间序列异常的实时监测。此外，现有方法对异常值的判定采用的是一种二值的方式，即，对于一个时间值，其要么是异常值，要么不是。这种方式虽然可以标出异常值，但无法确定异常的程度，相应地，也无法根据不同的异常程度来制定合适的改进措施。
技术实现思路
为此，本专利技术提供一种异常检测方法、应用和监控设备，以力图解决或至少缓解上面存在的问题。根据本专利技术的一个方面，提供一种异常检测方法，在监控设备中执行，适于对被监控设备的一个或多个周期性性能指标进行实时异常检测，所述方法包括：获取被监控设备的某个周期性性能指标的第一时间序列，所述第一 时间序列包括[t0，tnow]时间段内所述周期性性能指标的多个观测值，其中，t0为初始时刻，tnow为当前时刻；设置每周期数据量n0，所述每周期数据量表示每个周期内包括的周期性性能指标的观测值的数目；根据所述每周期数据量n0和第一时间序列确定第二时间序列X，所述第二时间序列包括从[tnow-δ*n0+1，tnow]时间段内所述周期性性能指标的多个观测值，其中，δ为正整数；将所述第二时间序列X进行STL分解，以将所述第二时间序列X拆分为周期序列S、趋势序列T、残差序列R三者之和；根据所述第二时间序列X和周期序列S确定待检测数组D；采用改进的ESD算法确定所述待检测数组D中的异常点和各异常点的离群分值。可选地，在根据本专利技术的异常检测方法中，根据所述第二时间序列X和周期序列S确定待检测数组D的步骤采用以下公式：D＝X-S-median(X)其中，median(X)表示第二时间序列X的中位数。可选地，在根据本专利技术的异常检测方法中，采用改进的ESD算法确定所述待检测数组D中的异常点和各异常点的离群分值的步骤包括：根据所述待检测数组D计算离群分布数组A，所述离群分布数组A适于存储待检测数组D中每一个元素的离群分值；根据所述离群分布数组A确定位置数组A’，所述位置数组A’适于存储将离群分布数组A中的元素进行排序后，排序后的元素在离群分布数组A中的位置；在设定的显著性水平α下，计算临界值λ，并根据λ、离群分布数组A和位置数组A’来确定所述待检测数组D中的异常点。可选地，在根据本专利技术的异常检测方法中，根据所述待检测数组D计算离群分布数组A的步骤采用以下公式： A = D - m e d i a n ( D ) m a d ( D ) ]]>其中，median(D)表示待检测数组D的中位数，mad(D)表示待检测数组D的平均绝对偏差，其中，N表示第二时间序列X中包含的观测值的数目。可选地，在根据本专利技术的异常检测方法中，将离群分布数组A中的元素 进行排序包括：将离群分布数组A中的元素按照由大到小的顺序排序；将离群分布数组A中的元素按照由小到大的顺序排序。可选地，在根据本专利技术的异常检测方法中，在设定的显著性水平α下，计算临界值λ，并根据λ、离群分布数组A和位置数组A’来确定所述待检测数组D中的异常点的步骤进一步包括：步骤一：设置i＝1，n＝N，指针p1指向A’[0]，指针p2指向A’[N-1]；步骤二：在设定的显著性水平α下，计算临界值λi；步骤三：获取A[*p1]和A[*p2]的值，其中，*p1表示指针p1所指向的元素的内容，*p2表示指针p2所指向的元素的内容，若|A[*p1]|≥|A[*p2]|，则将D[*p1]作为准异常点Doutlier，其离群分值为A[*p1]，指针p1后移一位；若|A[*p1]|<|A[*p2]|，则将D[*p2]作为准异常点Doutlier，其离群分值为A[*p2]，指针p2后移一位；步骤四：计算检验值Goutlier，若Goutlier>λi，则Doutlier是异常点，执行步骤五；若Goutlier≤λi，则Doutlier不是异常点，执行步骤六；步骤五：从待检测数组D中删除Doutlier，并更新删除Doutlier后待检测数组D的中位数median(D)、均值mean和标准差std；判断标准差std与阈值的相对大小，若标准差std大于阈值，i＝i+1，n＝n-1，执行步骤二；若标准差std小于等于阈值，执行步骤六；步骤六：结束。可选地，在根据本专利技术的异常检测方法中，显著性水平α取值为0.05。可选地，在根据本专利技术的异常检测方法中，临界值λi按照如下公式计算： λ i = ( n - i ) t p , n - i - 1 ( n - i - 1 + t p , n - i - 1 2 ) ( n - i + 1 ) ]]>其中，tp,n-i-1表示自由度为n-i-1的t分布的第100*p百分位数本文档来自技高网...

【技术保护点】
一种异常检测方法，在监控设备中执行，适于对被监控设备的一个或多个周期性性能指标进行实时异常检测，所述方法包括：获取被监控设备的某个周期性性能指标的第一时间序列，所述第一时间序列包括[t0，tnow]时间段内所述周期性性能指标的多个观测值，其中，t0为初始时刻，tnow为当前时刻；设置每周期数据量n0，所述每周期数据量表示每个周期内包括的周期性性能指标的观测值的数目；根据所述每周期数据量n0和第一时间序列确定第二时间序列X，所述第二时间序列包括从[tnow‑δ*n0+1，tnow]时间段内所述周期性性能指标的多个观测值，其中，δ为正整数；将所述第二时间序列X进行STL分解，以将所述第二时间序列X拆分为周期序列S、趋势序列T、残差序列R三者之和；根据所述第二时间序列X和周期序列S确定待检测数组D；采用改进的ESD算法确定所述待检测数组D中的异常点和各异常点的离群分值。

【技术特征摘要】
1.一种异常检测方法，在监控设备中执行，适于对被监控设备的一个或多个周期性性能指标进行实时异常检测，所述方法包括：获取被监控设备的某个周期性性能指标的第一时间序列，所述第一时间序列包括[t0，tnow]时间段内所述周期性性能指标的多个观测值，其中，t0为初始时刻，tnow为当前时刻；设置每周期数据量n0，所述每周期数据量表示每个周期内包括的周期性性能指标的观测值的数目；根据所述每周期数据量n0和第一时间序列确定第二时间序列X，所述第二时间序列包括从[tnow-δ*n0+1，tnow]时间段内所述周期性性能指标的多个观测值，其中，δ为正整数；将所述第二时间序列X进行STL分解，以将所述第二时间序列X拆分为周期序列S、趋势序列T、残差序列R三者之和；根据所述第二时间序列X和周期序列S确定待检测数组D；采用改进的ESD算法确定所述待检测数组D中的异常点和各异常点的离群分值。2.如权利要求1所述的异常检测方法，其中，所述根据所述第二时间序列X和周期序列S确定待检测数组D的步骤采用以下公式：D＝X-S-median(X)其中，median(X)表示第二时间序列X的中位数。3.如权利要求2所述的异常检测方法，其中，所述采用改进的ESD算法确定所述待检测数组D中的异常点和各异常点的离群分值的步骤包括：根据所述待检测数组D计算离群分布数组A，所述离群分布数组A适于存储待检测数组D中每一个元素的离群分值；根据所述离群分布数组A确定位置数组A’，所述位置数组A’适于存储将离群分布数组A中的元素进行排序后，排序后的元素在离群分布数组A中的位置；在设定的显著性水平α下，计算临界值λ，并根据λ、离群分布数组A和位置数组A’来确定所述待检测数组D中的异常点。4.如权利要求3所述的异常检测方法，其中，所述根据所述待检测数组D计算离群分布数组A的步骤采用以下公式： A = D - m e d i a n ( D ) m a d ( D ) ]]>其中，median(D)表示待检测数组D的中位数，mad(D)表示待检测数组D的平均绝对偏差，其中，N表示第二时间序列X中包含的观测值的数目。5.如权利要求4所述的异常检测方法，其中，所述将离群分布数组A中的元素进行排序包括：将离群分布数组A中的元素按照由大到小的顺序排序；将离群分布数组A中的元素按...

【专利技术属性】
技术研发人员：吴海珊，阮松松，刘麒贇，
申请(专利权)人：北京蓝海讯通科技股份有限公司，
类型：发明
国别省市：北京;11