一种基于容器管理平台的异常根因分析方法和系统技术方案

本发明专利技术公开了一种基于容器管理平台的异常根因分析方法和系统，属于数据处理技术领域，所述方法包括：获取指标集，所述指标集包括多个指标；基于皮尔森相关系数算法，获得两个指标间的相关系数；获取异常事件，及与所述异常事件关联的第一指标；根据所述相关系数，获得与所述第一指标关联的一个或多个第二指标；判断所述第二指标是否异常；若是，所述第二指标为异常根因。通过皮尔森相关系数算法，计算出与异常事件相关联的第二指标，并在第二指标范围内快速定位出异常根因/指标，提高异常根因的监测效率，提高排障效率。提高排障效率。提高排障效率。

【技术实现步骤摘要】
一种基于容器管理平台的异常根因分析方法和系统


[0001]本专利技术涉及数据处理
，具体涉及一种基于容器管理平台的异常根因分析方法和系统。

技术介绍

[0002]伴随着业务容器管理平台(Kubernetes,K8s)进程的不断加速，Kubernetes业务指标数据化越来越标准。业务量和数据量的高速增长，带来大量异常指标依据的同时，调度变得越来越错综复杂，异常信息频繁，给异常定位和根因定位带来了挑战。
[0003]现有业务系统告警的监测主要采用固定指标，全量告警的方式。通过全量的指标监控，对业务系统进行巡检并告警问题，如Kubernetes中标配的prometheus监测当前业务系统，提供对主机和容器应用级别的内存、CPU、网络流量、磁盘读写和容量的统计性指标分析，从资源角度形成告警。但该监测方式需求对每个指标进行地毯式搜查，监测的效率低或计算量大。大量异常业务的场景下，难以定位异常根因。

技术实现思路

[0004]针对现有技术中存在的上述技术问题，本专利技术提供一种基于容器管理平台的异常根因分析方法和系统，通过基于皮尔森相关系数算法的相关系数，获得相关性较大的指标，并对相关性性较大的指标进行分析，利于快速定位，提高排障效率。
[0005]本专利技术公开了一种基于容器管理平台的异常根因分析方法，所述方法包括：获取指标集，所述指标集包括多个指标；基于皮尔森相关系数算法，获得两个指标间的相关系数；获取异常事件，及与所述异常事件关联的第一指标；根据所述相关系数，获得与所述第一指标关联的一个或多个第二指标；判断所述第二指标是否异常；若是，所述第二指标为异常根因。
[0006]优选的，根据相关系数筛选异常根因的方法：
[0007]获取根因指标列表；
[0008]将所述异常根因加入到根因指标列表中；
[0009]获取根因指标列表中异常根因与第一指标的相关系数的绝对值；
[0010]按绝对值进行降序排列，获取前N个异常根因作为根因分析的结果，其中N为自然数。
[0011]优选的，根据所述根因分析的结果，生成告警信息；对所述告警信息进行告警压缩后加入到消息队列。
[0012]优选的，建立所述相关系数的集合的方法包括：
[0013]基于容器管理平台，获得指标关联表及拓扑关联数据表；
[0014]根据指标关联表及拓扑关联数据表，获得资源间的调用关系和部署关系；
[0015]根据调用关系和部署关系，获得资源关系集合；
[0016]获得资源关系集合中的资源关系，所述资源关系包括第一资源和第二资源；
[0017]获得第一资源的第一指标实例集和第二资源的第二指标实例集，所述第一指标实例集包括一个或多个第一指标实例，所述第二指标实例集包括一个或多个第二指标实例；
[0018]分别获得第一指标实例和第二指标实例的历史数据；
[0019]基于皮尔森相关系数算法对所述历史数据进行分析，获得第一指标实例和第二指标实例间的相关系数；
[0020]遍历所述资源关系和资源关系集合，获得相关系数的集合。
[0021]优选的，相关系数的计算公式表示为：
[0022][0023]其中，r表示为相关系数，n表示为指标变量的样本数量，X
i
、Y
i
分别为两个变量的当前值，X
u
、Y
u
分别为两个指标变量的均值，σ
X
、σ
Y
分别为指标变量的标准差。
[0024]优选的，，根据所述相关系数的绝对值，对指标间的相关度进行划分：
[0025]0.8＜|r|≤1极强相关；0.6＜|r|≤0.8强相关；0.4＜|r|≤0.6中等程度相关；0.2＜|r|≤0.4弱相关；0≤|r|≤0.2极弱相关或无相关，
[0026]|r|表示为相关系数的绝对值。
[0027]优选的，对异常事件进行异常根因分析的方法包括：
[0028]步骤311：利用所述相关系数的集合，获得与所述异常事件相关联的第一指标；
[0029]步骤312：判断第一指标在异常事件的有效时间范围内是否有事件发生；
[0030]若无事件发生，执行步骤313：对第一指标的历史数据进行分析，若第一指标存在异常，执行步骤314；
[0031]若有事件发生，执行步骤314：根据相关系数的集合，获得与第一指标相关联的一个或多个第二指标；
[0032]步骤315：判断第二指标是否异常；
[0033]若异常，执行步骤316：标记第二指标为根因，并加入根因指标列表，执行步骤317；
[0034]若无异常，执行步骤317：获取下一第二指标，执行步骤315，直到所有第二指标判断完毕，获得根因指标列表；
[0035]步骤318：根据相关系数绝对值的大小，从所述根因指标列表中筛选根因指标。
[0036]优选的，判断第二指标是否异常的方法包括：
[0037]采集第二指标的数据，并记录采集时间；
[0038]获得所述第二指标的异常触发规则；
[0039]基于所述异常触发规则，对所述数据和采集时间进行分析，判断所述第二指标是否异常。
[0040]优选的，根因扩展的分析方法：
[0041]利用所述相关系数的集合，获得与所述第二指标相关联的一个或多个第三指标：
[0042]判断所述第三指标是否满足以下任一条件：在异常事件的有效范围内有事件发生，所述指标发生断采，指标在异常事件的有效范围内有异常历史数据，以及符合异常触发规则；
[0043]若满足，所述第三指标为异常根因，标记所述第三指标为根因指标。应当指出的是
该异常根因的判断条件同样适用于第一指标和第二指标。
[0044]本专利技术还提供一种用于实现上述异常根因分析方法的系统，所述系统包括指标关系分析模块和异常根因分析模块，
[0045]所述指标关系分析模块用于获取指标集，基于皮尔森相关系数算法，获得两个指标间的相关系数；
[0046]所述异常根因分析模块用于根据所述相关系数，获得与所述异常事件的第一指标关联的一个或多个第二指标，并根据所述第二指标的异常情况，判断第二指标是否为异常根因。
[0047]与现有技术相比，本专利技术的有益效果为：通过皮尔森相关系数算法，计算出与异常事件相关联的第二指标，并在第二指标范围内快速定位出异常根因/指标，提高异常根因的监测效率，提高排障效率。
附图说明
[0048]图1是本专利技术的基于容器管理平台的异常根因分析方法流程图；
[0049]图2是实施例2的对异常事件进行异常根因分析的方法流程图；
[0050]图3是本专利技术的系统逻辑框图。
具体实施方式
[0051]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于容器管理平台的异常根因分析方法，其特征在于，所述方法包括：获取指标集，所述指标集包括多个指标；基于皮尔森相关系数算法，获得两个指标间的相关系数；获取异常事件，及与所述异常事件关联的第一指标；根据所述相关系数，获得与所述第一指标关联的一个或多个第二指标；判断所述第二指标是否异常；若是，所述第二指标为异常根因。2.根据权利要求1所述的异常根因分析方法，其特征在于，还包括根据相关系数筛选异常根因的方法：获取根因指标列表；将所述异常根因加入到根因指标列表中；获取根因指标列表中异常根因与第一指标的相关系数的绝对值；按绝对值进行降序排列，获取前N个异常根因作为根因分析的结果，其中N为自然数。3.根据权利要求2所述的异常根因分析方法，其特征在于，根据所述根因分析的结果，生成告警信息；对所述告警信息进行告警压缩后加入到消息队列。4.根据权利要求1所述的异常根因分析方法，其特征在于，建立所述相关系数的集合的方法包括：基于容器管理平台，获得指标关联表及拓扑关联数据表；根据指标关联表及拓扑关联数据表，获得资源间的调用关系和部署关系；根据调用关系和部署关系，获得资源关系集合；获得资源关系集合的第一资源和第二资源的资源关系；获得第一资源的第一指标实例集和第二资源的第二指标实例集，所述第一指标实例集包括一个或多个第一指标实例，所述第二指标实例集包括一个或多个第二指标实例；分别获得第一指标实例和第二指标实例的历史数据；基于皮尔森相关系数算法对所述历史数据进行分析，获得第一指标实例和第二指标实例间的相关系数；遍历所述资源关系和资源关系集合，获得相关系数的集合。5.根据权利要求4所述的异常根因分析方法，其特征在于，对异常事件进行异常根因分析的方法包括：步骤311：利用所述相关系数的集合，获得与所述异常事件相关联的第一指标；步骤312：判断第一指标在异常事件的有效时间范围内是否有事件发生；若无事件发生，执行步骤313：对第一指标的历史数据进行分析，若第一指标存在异常，执行步骤314；若有事件发生，执行步骤314：根据相关系数的集合，获得与第一指标相关联的一个或多个第二指标；步骤315：判断第二指标是否异常；若异常，执行步骤316：标记第二指标为根因，并将根因加入到根因指...

【专利技术属性】
技术研发人员：李留，苌程，王丽丽，蔡敏伟，
申请(专利权)人：杭州谐云科技有限公司，
类型：发明
国别省市：