一种自动化异常实体定位分析方法技术

本发明专利技术公开了一种自动化异常实体定位分析方法，该异常实体定位方法在业务指标发生异常时，触发定位系统进行分析，该异常实体定位分析方法包括指标异常程度评判、相似异常实体聚类和定位结果排序，本发明专利技术科学合理，使用安全方便，利用本方法实现对异常实体和模块的自动化人工故障定位，实体指物理机器、虚拟机器、中间件、路由器、交换机等软硬件设备，可以有效的辅助运维人员找到问题所在，大大的减少故障的恢复时间，保证系统的稳定性能，利用相似性异常实体聚类算法将拥有相似异常指标的实体整合在一起，将聚类算法聚类的异常实体进行排序，减少了运维人员逐一排查的繁琐程序，可以有效的减少运维人员的排查负担。

A method of automatic abnormal entity location analysis

【技术实现步骤摘要】
一种自动化异常实体定位分析方法
本专利技术涉及数据异常处理
，具体是一种自动化异常实体定位分析方法。
技术介绍
数据中心内部IT基础设置环境复杂，每种业务都由一系列模块或中间件(如Web服务器、数据库等)组成，这些模块部署在不同机房的不同服务器上，每台服务器又有大量不同的监控指标，当业务出现问题时，系统的某个基础组件的异常犹如蝴蝶的翅膀，可能会导致多个核心交易系统的告警风暴，而一旦产生业务告警，管理人员必将全力分析业务告警，人工定位目前异常所在的实体和模块，基本流程如下：1、针对每个监控指标做智能异常检测，得到当前异常指标集合；2、人工根据经验对异常指标排序，判断指标的轻重缓急；3、根据指标的排序结果，逐一排查异常，找到问题根因，执行故障恢复方案。但由于监控指标众多，人工排查困难，大量的时间被浪费在以上针对业务系统的分析，大大增加了故障恢复的时间，然而，将人工故障定位的过程变成自动化的定位过程面临以下挑战：1、异常检测是故障定位的输入，目前虽然有很多异常检测的算法，但大部分只能给出指标是否发生异常，不能给出异常程度；2、实际IT程序模块会部署在多实体上，每种实体上会有同样的监控指标，故障发生时，会有众多指标同时出现异常，他们之间部分存在相似性，如何进一步的聚类，方便运维人员查看是额待解决的问题；3、通过聚类算法后，异常实体和异常指标会被聚成多类，每类反映出不同类型的故障，最终运维人员会逐一排查，相比最原始的异常指数数量，这个结果会变得很少，但仍然需要一个合理的方法按照异常的严重程度排序。所以，人们急需一种自动化异常实体定位分析方法来解决上述问题。
技术实现思路
本专利技术的目的在于提供一种自动化异常实体定位分析方法，以解决现有技术中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种自动化异常实体定位分析方法，该异常实体定位方法在业务指标发生异常时，触发定位系统进行分析；该异常实体定位分析方法包括以下步骤：S1、指标异常程度评判；S2、相似异常实体聚类；S3、定位结果排序。根据上述技术方案，所述步骤S1中，指标异常程度评判是指业务指标发生故障时，同时评判海量相关指标异常程度；收集当前一段时间所有实体和模块的指标数据，并执行异常检测算法去检测所有指标的异常程度。根据上述技术方案，所述步骤S2中，相似异常实体聚类是指将具有类似异常业务指标的实体进行聚类；得到所有的指标的异常程度后，通过聚类算法将具有类似指标异常的实体进行聚类。根据上述技术方案，所述步骤S3中，定位结果排名是指对得到的多种不同结果根据异常程度进行排名；通过运行智能排序算法，将所有的聚类结果按照异常程度排名，并最终展示给运维人员。根据上述技术方案，所述指标异常程度评判的目的是使用异常检测算法检测出指标时间序列曲线的异常模式；所述指标异常程度评判是将异常检测问题转换成统计上的概率观测模型，观测曲线发生突变的概率，利用传统的核密度估计的算法来给处曲线的异常程度，解决为不同指标统一量化程度的问题；设定故障发生在时间t1，针对单个指标，算法收集故障发生前[t-w1,t)的数据集合{xi}和故障发生后[t,t+w2)的数据集合{xj}；将异常检测问题转换成给定观测的数据集合{xi}和{xj}的观测概率P({xi}|{xj})的计算问题，最终针对每个指标，利用异常检测算法计算出其突增的概率Po({xj}|{xi})和突降的概率Pu({xj}|{xi})，用于描述当前指标的异常程度；异常检测算法如下：其中，o和u代表突增和突降的异常程度，m代表{xj}的大小，由于实际不同指标的采样不同，m的值也有所不同，导致异常程度没有可比性，因此计算出异常程度的指数平均值。根据上述技术方案，相似异常实体聚类算法的目的是将拥有相似异常指标的实体整合在一起，减少运维人员排查负担，相似异常实体聚类算法的核心是将每台实体的异常指标信息做成一个向量，设计合适的聚类算法做实体的聚类；所述聚类算法主要包括三个部分：输入向量、距离函数和聚类算法；设定所述输入向量为(o0,u0,o2,u2,...,on,un)，其中，on和un分别代表第n个KPI的突增和突降的异常程度；所述距离函数用于计算两个向量的聚类；聚类算法用于度量两个变量X’和Y’之间的相关，其值介于-1与1之间，为两个变量之间的协方差和标准差的商；计算算法为：上式定义了总体相关系数，计算样本的协方差和标准差，可以得到样本相关系数，用r表示，计算公式如下：r值为1意味着X’和Y’正相关，且Y’随着X’的增加而增加，r的值为-1意味着X’和Y’负相关，且Y’随着X’的增加而减少，r的值为0时意味着两个变量之间没有线性关系，因此，本算法的距离函数如下：Distance＝1-r；聚类算法将具有足够密度的区域划分为簇，在具有噪声的空间数据库中发现任意形状的簇，将簇定义为密度相连的点的最大集合，该算法利用基于密度的聚类的概念，即要求聚类空间中的一定区域内所包含对象(点或其他空间对象)的数目不小于给定阈值，该算法的显著优点是聚类速度快且能够有效处理噪声点和发现任意形状的空间聚类，该算法需要用户输入2个参数：一个参数是半径(Eps)，表示以给定点P为中心的圆形邻域的范围；另一个参数是以点P为中心的邻域内最少点的数量(MinPts)，当条件满足时：以点P为中心、半径为Eps的邻域内的点的个数不少于MinPts，称点P为核心点，计算半径Eps：根据得到的所有点的k-距离集合E，对集合E进行升序排序后得到k-距离集合E’，拟合一条排序后的E’集合中k-距离的变化曲线图，然后绘出曲线，将急剧发生变化的位置所对应的k-距离的值，确定为半径Eps的值。根据上述技术方案，所述定位结果排序利用聚类算法得到不同表征的实体，将不同类别的实体指标作出排序，利用监督学习的逻辑回归方法，通过学习部分人工标注的结果，训练出合适的排序模型Y1＝f(X1)，X1为特征部分，Y1为排序的分数；该算法采用的特征定义如下：(1)最大异常值：所有KPI中异常程度最大的值；(2)异常值总和：所有KPI的异常程度值的加和；(3)异常KPI数目：通缉异常程度高于异常阈值的KPI数量；(4)实体数目占比：异常实体数据个数除以当前模块实体的数目。与现有技术相比，本专利技术的有益效果是：利用本方法实现对异常实体和模块的自动化人工故障定位，可以有效的辅助运维人员找到问题所在，大大的减少故障的恢复时间，保证系统的稳定性能，利用相似性异常实体聚类算法将拥有相似异常指标的实体整合在一起，将聚类算法聚类的异常实体进行排序，减少了运维人员逐一排查的繁琐程序，可以有效的减少运维人员的排查负担。附图说明图1为本专利技术一种自动本文档来自技高网...

【技术保护点】
1.一种自动化异常实体定位分析方法，其特征在于：该异常实体定位方法在业务指标发生异常时，触发定位系统进行分析；/n该异常实体定位分析方法包括以下步骤：/nS1、指标异常程度评判；/nS2、相似异常实体聚类；/nS3、定位结果排序。/n

【技术特征摘要】
1.一种自动化异常实体定位分析方法，其特征在于：该异常实体定位方法在业务指标发生异常时，触发定位系统进行分析；
该异常实体定位分析方法包括以下步骤：
S1、指标异常程度评判；
S2、相似异常实体聚类；
S3、定位结果排序。


2.根据权利要求1所述的一种自动化异常实体定位分析方法，其特征在于：所述步骤S1中，指标异常程度评判是指业务指标发生故障时，同时评判海量相关指标异常程度；
收集当前一段时间所有实体和模块的指标数据，并执行异常检测算法去检测所有指标的异常程度。


3.根据权利要求1所述的一种自动化异常实体定位分析方法，其特征在于：所述步骤S2中，相似异常实体聚类是指将具有类似异常业务指标的实体进行聚类；
得到所有的指标的异常程度后，通过聚类算法将具有类似指标异常的实体进行聚类。


4.根据权利要求1所述的一种自动化异常实体定位分析方法，其特征在于：所述步骤S3中，定位结果排名是指对得到的多种不同结果根据异常程度进行排名；
通过运行智能排序算法，将所有的聚类结果按照异常程度排名，并最终展示给运维人员。


5.根据权利要求2所述的一种自动化异常实体定位分析方法，其特征在于：所述指标异常程度评判的目的是使用异常检测算法检测出指标时间序列曲线的异常模式；
所述指标异常程度评判是将异常检测问题转换成统计上的概率观测模型，观测曲线发生突变的概率，利用异常检测算法来给出曲线的异常程度；
设定故障发生在时间t1，针对单个指标，算法收集故障发生前[t-w1,t)的数据集合{xi}和故障发生后[t,t+w2)的数据集合{xj}；
将异常检测问题转换成给定观测的数据集合{xi}和{xj}的观测概率P({xi}|{xj})的计算问题，最终针对每个指标，利用异常检测算法计算出其突增的概率Po({xj}|{xi})和突降的概率Pu({xj}|{xi})，用于描述当前指标的异常程度；
异常检测算法如下：

【专利技术属性】
技术研发人员：刘大鹏，聂晓辉，朱晶，王耀，
申请(专利权)人：北京必示科技有限公司，
类型：发明
国别省市：北京;11