System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及多维异常事件根因分析算法,尤其涉及一种快速可溯源的多维异常事件根因分析算法,属于数据分析。
技术介绍
1、随着数字化信息科技的高速发展,越来越多的应用领域采用了多样化的数据监控策略和数据分析手段来保障系统稳定和数据安全,如网络安全、系统监控、业务运维、物联网等。在关键指标发生异常时,管理人员需要及时快速地梳理异常背后所关联的复杂信息,并准确推断出可能导致异常的根本原因,从而实现有效地处置。随着服务和数据的规模与日俱增,促使异常的根因分析(root causeanalysis,简称rca)向智能化转变,成为数据分析与决策的重要一环,是提高稳定性与可靠性的一项不可或缺的手段。
2、根因分析对算法的执行速度、指标兼容性以及可解释性都有较高要求。首先,当异常事件数量增加或关联属性维度增高时,异常产生原因的范围会急剧扩大,快速的定位根因可有效降低损失。其次,不同场景中的监测指标多样,算法需要处理基本指标和派生指标。最后,在异常处置时,算法对根因给出判定理由可以有效加速对异常的处置过程。然而,目前针对多维异常事件的根因分析方法,并不能在这三者间取得很好的平衡,存在较大的优化空间;多维异常事件的根因分析问题,目的是从一个可评估偏差的多维事件集合中筛选出对异常影响最大的事件子集,并且在聚集约束下,这个事件子集的属性特征组合有简洁的表达形式,记为异常根因。
3、现有技术中大多采用hotspot算法进行异常事件根因分析,hotspot算法设计了一个基于涟漪效应的目标函数潜在得分,主要从两个方面对属性组合进行评估
4、(1)从性能的角度来看:hotspot使用mcts优化搜索,加快了搜索速度,但是hotspot依靠整个搜索路径上的潜在分数来引导它找到真正的根因,对于低维度或包含许多事件的根因,潜在分数在搜索路径的开始阶段可能相当小,因此,分层修剪策略可能会错误地修剪出正确的搜索路径,导致准确率不足;
5、(2)从兼容性角度来看:事件指标包括基本指标和派生指标,hotspot算法仅能处理基本指标;
6、(3)从可解释性角度来看:hotspot算法对根因分析的结果缺乏有效的解释,不能清楚地解释异常的形成。
7、因此,需要一种可以对定位的结果给出合理解释、适用于处理派生指标、搜索路径准确率高且速度快的多维异常事件根因分析算法。
技术实现思路
1、在下文中给出了关于本专利技术的简要概述,以便提供关于本专利技术的某些方面的基本理解。应当理解,这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分,也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
2、鉴于此,为解决现有技术中传统的异常根因分析算法准确率低且兼容性差的问题,本专利技术提供一种快速可溯源的多维异常事件根因分析算法。
3、技术方案如下:一种快速可溯源的多维异常事件根因分析算法,包括以下步骤:
4、s1.通过异常检测筛选出与异常相关的事件,对与异常相关的事件进行初始化并整合为异常相关事件集合;
5、s2.对异常相关事件集合进行聚合约束,以原子事件集合即异常相关事件集合为起点层,采用严格聚合约束得到下一层的所有事件节点,逐层重复聚合操作,直至下一层的事件节点为空,得到完整的事件聚合图;
6、s3.在完整的事件聚合图上搜索定位根因异常事件,得到最终的根因异常集合;
7、s31.在完整的事件聚合图上进行异常传播,计算出所有事件节点的异常解释力、基础异常投票率以及子节点异常投票率,判定投票结果,输出更新后的事件聚合图;
8、s32.在更新后的事件聚合图进行根因候选事件搜索,搜索根因候选节点,输出根因候选集合;
9、s33.对根因候选集合进行根因剪枝,输出根因剪枝后的最终根因异常集合。
10、进一步地,所述s2中,输入原子事件集合φ,创建空的事件聚合图g,对所有事件都具有相同维度的异常相关事件集合h进行聚合约束,异常相关事件集合h包括所有与异常相关的事件e;
11、异常相关事件集合h的聚合约束过程表示为:
12、
13、其中,ce为聚合约束后的事件,ei'为异常相关事件集合h的第i'个事件,ej'为异常相关事件集合h的第j'个事件,c为聚合约束;
14、对于聚合约束后的事件ce中维度取值为*且异常相关事件集合h中维度取值不为*的维度为i的事件,通过unique函数将聚合约束后的事件ce中维度i的值域集合定义为fi;
15、维度i的值域集合fi表示为:
16、
17、其中,fei表示维度为i的事件e的坐标,e∈h表示事件e属于异常相关事件集合h;
18、根据维度i的值域集合fi计算出原子事件集合φ的聚合约束空间cφ;
19、聚合约束空间cφ表示为:
20、
21、其中,d为维度,fi∪{*}表示维度i的值域集合fi的取值为*;
22、创建事件聚合起点集合s,将其初始化为原子事件集合φ,创建下一层事件集合l,将其初始化为空集
23、从聚合约束空间cφ中提取事件聚合起点集合s的严格聚合约束cs,重置下一层事件集合l,定义聚合约束c属于聚合约束空间cφ,根据聚合约束c在事件聚合起点集合s中查询源事件as,根据聚合约束c,根据异常相关事件集合h的聚合约束过程创建基于源事件as的复合事件a,将复合事件a和事件关系加入到事件聚合图g,事件关系表示为(a,as)∪g,将复合事件a加入到下一层事件集合l,如果||l||=1,则终止聚合约束,否则使用下一层事件集合l作为新的聚合起点集合,当||l||=1时,终止聚合约束,输出完整的事件聚合图g。
24、进一步地,所述s31中,本文档来自技高网...
【技术保护点】
1.一种快速可溯源的多维异常事件根因分析算法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述S2中,输入原子事件集合Φ,创建空的事件聚合图G,对所有事件都具有相同维度的异常相关事件集合H进行聚合约束,异常相关事件集合H包括所有与异常相关的事件e;
3.根据权利要求2所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述S31中,输入步骤2得到的原子事件集合Φ和完整的事件聚合图G,定义事件e属于原子事件集合Φ,在事件聚合图G上查询事件e的目标事件集合eD,根据指标向量ae更新目标事件集合eD中所有事件的指标向量,计算出事件e的偏差δ(e);
4.根据权利要求3所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述S32中,输入步骤S31得到的原子事件集Φ和更新后的事件聚合图G,创建起点集合F,将其初始化为原子事件集合Φ,创建终点集合D,创建默认包括所有原子事件集合Φ的根因候选集RC,从起点集合F向终点集合D搜索根因候选节点,定义事件e属于起点集合F,在事件聚合图G
5.根据权利要求4所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述S33中,按照基础解释力和惊奇度的降序对根因候选集合RC进行排序,在根因候选集合RC过滤掉基础解释力和惊奇度均排名top-k之外的根因候选事件,在根因候选集合RC中,筛选出所有子节点异常投票率vote_children大于子节点的行为一致性阈值τavc的根因候选事件加入到最终根因异常集合rc,如果存在最终根因异常集合rc的基础解释力rcPEP大于异常解释力阈值τapep,则选择基础解释力最大的一个根因候选事件加入到最终根因异常集合rc,如果上述情况中存在被选中的事件,且rcPEP>τapep,则满足异常解释力且具备事件一致性和根因简洁性,停止根因搜索,否则,继续执行根因搜索,在剩余的根因候选集合中,按顺序挑选使得基础解释力和次要解释力增加的根因候选事件,当根因候选事件不能使基础解释力和次要解释力增加时,停止根因搜索,输出根因剪枝后的最终根因异常集合rc。
...【技术特征摘要】
1.一种快速可溯源的多维异常事件根因分析算法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述s2中,输入原子事件集合φ,创建空的事件聚合图g,对所有事件都具有相同维度的异常相关事件集合h进行聚合约束,异常相关事件集合h包括所有与异常相关的事件e;
3.根据权利要求2所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述s31中,输入步骤2得到的原子事件集合φ和完整的事件聚合图g,定义事件e属于原子事件集合φ,在事件聚合图g上查询事件e的目标事件集合ed,根据指标向量ae更新目标事件集合ed中所有事件的指标向量,计算出事件e的偏差δ(e);
4.根据权利要求3所述的一种快速可溯源的多维异常事件根因分析算法,其特征在于,所述s32中,输入步骤s31得到的原子事件集φ和更新后的事件聚合图g,创建起点集合f,将其初始化为原子事件集合φ,创建终点集合d,创建默认包括所有原子事件集合φ的根因候选集rc,从起点集合f向终点集合d搜索根因候选节点,定义事件e属于起点集合f,在事件聚合图g中查询事件e的父事件集合ep,定义父事件p属于父事件集合ep,如果父事件p的基础解释力ppep小于设定的最低基础解释力τmpep,则继续进行搜索,如果pvb>τvb且pvc>τvc,即事件p的基础事件异常投票率pvb高于基...
【专利技术属性】
技术研发人员:胡智超,余翔湛,刘立坤,史建焘,葛蒙蒙,苗钧重,郭明昊,陈东鑫,高展鹏,郭一澄,王钲皓,程明明,张森,李岱林,张垚,张靖宇,傅言晨,周杰,牟铎,
申请(专利权)人:哈尔滨工业大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。