System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种快速可溯源的多维异常事件根因分析算法制造技术_技高网

一种快速可溯源的多维异常事件根因分析算法制造技术

技术编号:40960694 阅读:2 留言:0更新日期:2024-04-18 20:39
本发明专利技术公开了一种快速可溯源的多维异常事件根因分析算法,属于数据分析技术领域。解决了现有技术中传统的异常根因分析算法准确率低且兼容性差的问题;本发明专利技术通过异常检测筛选出与异常相关的事件,对与异常相关的事件进行初始化并整合为异常相关事件集合;对异常相关事件集合进行聚合约束,根据事件的聚合约束以及关联关系建立了完整的事件聚合图作为统一的事件描述框架;在完整的事件聚合图上搜索定位根因异常事件,通过异常传播与溯源、搜索根因候选节点和根因剪枝,得到最终的根因异常集合。本发明专利技术有效地提高了多维异常事件根因分析算法的准确率和兼容性,适用于基础指标和派生指标,可以应用于多维异常事件的快速可溯源根因分析。

【技术实现步骤摘要】

本专利技术涉及多维异常事件根因分析算法,尤其涉及一种快速可溯源的多维异常事件根因分析算法,属于数据分析。


技术介绍

1、随着数字化信息科技的高速发展,越来越多的应用领域采用了多样化的数据监控策略和数据分析手段来保障系统稳定和数据安全,如网络安全、系统监控、业务运维、物联网等。在关键指标发生异常时,管理人员需要及时快速地梳理异常背后所关联的复杂信息,并准确推断出可能导致异常的根本原因,从而实现有效地处置。随着服务和数据的规模与日俱增,促使异常的根因分析(root causeanalysis,简称rca)向智能化转变,成为数据分析与决策的重要一环,是提高稳定性与可靠性的一项不可或缺的手段。

2、根因分析对算法的执行速度、指标兼容性以及可解释性都有较高要求。首先,当异常事件数量增加或关联属性维度增高时,异常产生原因的范围会急剧扩大,快速的定位根因可有效降低损失。其次,不同场景中的监测指标多样,算法需要处理基本指标和派生指标。最后,在异常处置时,算法对根因给出判定理由可以有效加速对异常的处置过程。然而,目前针对多维异常事件的根因分析方法,并不能在这三者间取得很好的平衡,存在较大的优化空间;多维异常事件的根因分析问题,目的是从一个可评估偏差的多维事件集合中筛选出对异常影响最大的事件子集,并且在聚集约束下,这个事件子集的属性特征组合有简洁的表达形式,记为异常根因。

3、现有技术中大多采用hotspot算法进行异常事件根因分析,hotspot算法设计了一个基于涟漪效应的目标函数潜在得分,主要从两个方面对属性组合进行评估:一方面,对于待评估属性组合的更细粒度属性组合,其指标应该是异常的并且服从涟漪效应;另一方面,对于其他的属性组合,其指标应该是正常的,hotspot算法显式地考虑了多个根因同时作用的情况,搜索空间变成了属性组合数目的幂,为了加速搜索,hotspot算法采用了蒙特卡罗树搜索(monte carlo tree search,mcts)方法进行启发式搜索,来解决巨大搜索空间的问题,从而快速识别异常的根因。但异常根因分析是从复杂的异常相关数据中分析寻找异常产生的主要原因,在实际应用中面临着很多挑战,首先是性能,异常根因定位的搜索空间非常大,暴力搜索方法并不可取,需要合理的缩小搜索空间和优化的搜索策略,平衡定位的速度和准确性;其次是适应性,异常关注的指标是多种多样的,可分为基本指标和派生指标,对于这两类指标,量化事件影响的方法是不同的,一个算法是否支持派生指标决定了其兼容性;最后是可解释性,包括根因定位本身的可解释性以及对异常形成的描述是否清晰,对后续异常处置操作也很重要,这就要求算法具备合理的根因定位解释,综上所述,现有技术的缺点如下:

4、(1)从性能的角度来看:hotspot使用mcts优化搜索,加快了搜索速度,但是hotspot依靠整个搜索路径上的潜在分数来引导它找到真正的根因,对于低维度或包含许多事件的根因,潜在分数在搜索路径的开始阶段可能相当小,因此,分层修剪策略可能会错误地修剪出正确的搜索路径,导致准确率不足;

5、(2)从兼容性角度来看:事件指标包括基本指标和派生指标,hotspot算法仅能处理基本指标;

6、(3)从可解释性角度来看:hotspot算法对根因分析的结果缺乏有效的解释,不能清楚地解释异常的形成。

7、因此,需要一种可以对定位的结果给出合理解释、适用于处理派生指标、搜索路径准确率高且速度快的多维异常事件根因分析算法。


技术实现思路

1、在下文中给出了关于本专利技术的简要概述,以便提供关于本专利技术的某些方面的基本理解。应当理解,这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分,也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。

2、鉴于此,为解决现有技术中传统的异常根因分析算法准确率低且兼容性差的问题,本专利技术提供一种快速可溯源的多维异常事件根因分析算法。

3、技术方案如下:一种快速可溯源的多维异常事件根因分析算法,包括以下步骤:

4、s1.通过异常检测筛选出与异常相关的事件,对与异常相关的事件进行初始化并整合为异常相关事件集合;

5、s2.对异常相关事件集合进行聚合约束,以原子事件集合即异常相关事件集合为起点层,采用严格聚合约束得到下一层的所有事件节点,逐层重复聚合操作,直至下一层的事件节点为空,得到完整的事件聚合图;

6、s3.在完整的事件聚合图上搜索定位根因异常事件,得到最终的根因异常集合;

7、s31.在完整的事件聚合图上进行异常传播,计算出所有事件节点的异常解释力、基础异常投票率以及子节点异常投票率,判定投票结果,输出更新后的事件聚合图;

8、s32.在更新后的事件聚合图进行根因候选事件搜索,搜索根因候选节点,输出根因候选集合;

9、s33.对根因候选集合进行根因剪枝,输出根因剪枝后的最终根因异常集合。

10、进一步地,所述s2中,输入原子事件集合φ,创建空的事件聚合图g,对所有事件都具有相同维度的异常相关事件集合h进行聚合约束,异常相关事件集合h包括所有与异常相关的事件e;

11、异常相关事件集合h的聚合约束过程表示为:

12、

13、其中,ce为聚合约束后的事件,ei'为异常相关事件集合h的第i'个事件,ej'为异常相关事件集合h的第j'个事件,c为聚合约束;

14、对于聚合约束后的事件ce中维度取值为*且异常相关事件集合h中维度取值不为*的维度为i的事件,通过unique函数将聚合约束后的事件ce中维度i的值域集合定义为fi;

15、维度i的值域集合fi表示为:

16、

17、其中,fei表示维度为i的事件e的坐标,e∈h表示事件e属于异常相关事件集合h;

18、根据维度i的值域集合fi计算出原子事件集合φ的聚合约束空间cφ;

19、聚合约束空间cφ表示为:

20、

21、其中,d为维度,fi∪{*}表示维度i的值域集合fi的取值为*;

22、创建事件聚合起点集合s,将其初始化为原子事件集合φ,创建下一层事件集合l,将其初始化为空集

23、从聚合约束空间cφ中提取事件聚合起点集合s的严格聚合约束cs,重置下一层事件集合l,定义聚合约束c属于聚合约束空间cφ,根据聚合约束c在事件聚合起点集合s中查询源事件as,根据聚合约束c,根据异常相关事件集合h的聚合约束过程创建基于源事件as的复合事件a,将复合事件a和事件关系加入到事件聚合图g,事件关系表示为(a,as)∪g,将复合事件a加入到下一层事件集合l,如果||l||=1,则终止聚合约束,否则使用下一层事件集合l作为新的聚合起点集合,当||l||=1时,终止聚合约束,输出完整的事件聚合图g。

24、进一步地,所述s31中,本文档来自技高网...

【技术保护点】

1.一种快速可溯源的多维异常事件根因分析算法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述S2中,输入原子事件集合Φ,创建空的事件聚合图G,对所有事件都具有相同维度的异常相关事件集合H进行聚合约束,异常相关事件集合H包括所有与异常相关的事件e;

3.根据权利要求2所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述S31中,输入步骤2得到的原子事件集合Φ和完整的事件聚合图G,定义事件e属于原子事件集合Φ,在事件聚合图G上查询事件e的目标事件集合eD,根据指标向量ae更新目标事件集合eD中所有事件的指标向量,计算出事件e的偏差δ(e);

4.根据权利要求3所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述S32中,输入步骤S31得到的原子事件集Φ和更新后的事件聚合图G,创建起点集合F,将其初始化为原子事件集合Φ,创建终点集合D,创建默认包括所有原子事件集合Φ的根因候选集RC,从起点集合F向终点集合D搜索根因候选节点,定义事件e属于起点集合F,在事件聚合图G中查询事件e的父事件集合eP,定义父事件P属于父事件集合eP,如果父事件P的基础解释力PPEP小于设定的最低基础解释力τMPEP,则继续进行搜索,如果Pvb>τvb且Pvc>τvc,即事件P的基础事件异常投票率Pvb高于基础事件异常投票率阈值τvb且子事件异常投票率Pvc高于子事件异常投票率阈值τvc,则将父事件P加入到终点集合D,如果||D||==0,则停止搜索,并将起点集合定义为根因候选集合RC,否则将终点集合D作为新的搜索起点集合,从终点集合D向起点集合F搜索根因候选节点,如果||F||==0,则停止搜索并将终点集合D定义为根因候选集合RC,输出根因候选集合RC。

5.根据权利要求4所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述S33中,按照基础解释力和惊奇度的降序对根因候选集合RC进行排序,在根因候选集合RC过滤掉基础解释力和惊奇度均排名top-k之外的根因候选事件,在根因候选集合RC中,筛选出所有子节点异常投票率vote_children大于子节点的行为一致性阈值τavc的根因候选事件加入到最终根因异常集合rc,如果存在最终根因异常集合rc的基础解释力rcPEP大于异常解释力阈值τapep,则选择基础解释力最大的一个根因候选事件加入到最终根因异常集合rc,如果上述情况中存在被选中的事件,且rcPEP>τapep,则满足异常解释力且具备事件一致性和根因简洁性,停止根因搜索,否则,继续执行根因搜索,在剩余的根因候选集合中,按顺序挑选使得基础解释力和次要解释力增加的根因候选事件,当根因候选事件不能使基础解释力和次要解释力增加时,停止根因搜索,输出根因剪枝后的最终根因异常集合rc。

...

【技术特征摘要】

1.一种快速可溯源的多维异常事件根因分析算法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述s2中,输入原子事件集合φ,创建空的事件聚合图g,对所有事件都具有相同维度的异常相关事件集合h进行聚合约束,异常相关事件集合h包括所有与异常相关的事件e;

3.根据权利要求2所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述s31中,输入步骤2得到的原子事件集合φ和完整的事件聚合图g,定义事件e属于原子事件集合φ,在事件聚合图g上查询事件e的目标事件集合ed,根据指标向量ae更新目标事件集合ed中所有事件的指标向量,计算出事件e的偏差δ(e);

4.根据权利要求3所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述s32中,输入步骤s31得到的原子事件集φ和更新后的事件聚合图g,创建起点集合f,将其初始化为原子事件集合φ,创建终点集合d,创建默认包括所有原子事件集合φ的根因候选集rc,从起点集合f向终点集合d搜索根因候选节点,定义事件e属于起点集合f,在事件聚合图g中查询事件e的父事件集合ep,定义父事件p属于父事件集合ep,如果父事件p的基础解释力ppep小于设定的最低基础解释力τmpep,则继续进行搜索,如果pvb>τvb且pvc>τvc,即事件p的基础事件异常投票率pvb高于基...

【专利技术属性】
技术研发人员:胡智超余翔湛刘立坤史建焘葛蒙蒙苗钧重郭明昊陈东鑫高展鹏郭一澄王钲皓程明明张森李岱林张垚张靖宇傅言晨周杰牟铎
申请(专利权)人:哈尔滨工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1