【技术实现步骤摘要】
本专利技术涉及it运维管理，尤其涉及一种海量时序告警数据智能降噪方法。
技术介绍
1、在现代it运维管理
中，普遍采用告警机制进行状态管理，告警机制基于预定的阈值，定期采集指标并通过算法与阈值进行对比分析，对于不满足既定阈值的指标进行警告，从而达到监控运维对象运行状态，反馈运维对象的变化异常的目的。基于规则的告警策略配置，必然导致一个问题：阈值配置过高，容易漏掉系统运行故障；阈值配低，又会带来大量的无效告警，影响运维团队的工作效率，形成很多无效告警。另外，告警检查周期的长短设置也存在类似的问题，往往运维团队为了不遗漏告警而提升告警的灵敏度，导致告警重复率很高。
2、为了克服阈值规则的缺点，部分监控系统开始采用it设备上的事件进行输出和分析。然而大量的it设备上的任何风吹草动都会输出大量的事件信息，导致监控系统爆发大规模告警信息，不仅会给短信网关造成巨大压力，还会增大运维团队的故障监管压力，致使其忽略核心根因告警信息。
3、因此，在运维监控系统中，通过告警收敛来降低告警信息的规模对运维团队而言显得尤为重要。告警收敛是指对告警信息进行分析、合并和丢弃，以此来降低告警信息的规模目，其方案主要有：告警过滤(告警抑制、告警静默)、告警合并(按时间合并、按字段合并)、自适应收敛(基于相似性算法)、根因分析等等，这些方案各有优缺点，且都存在适应面窄的问题。
4、社区发现算法(louvain算法)又被称为fast unfolding算法，是一种基于模块度的社区发现算法。其基本思想是网络中节点尝试遍历所有
技术实现思路
1、鉴于目前运维监控系统中告警重复率高的问题，本专利技术提供一种海量时序告警数据智能降噪方法，通过构建告警关系模型，运用社区发现算法，能够从海量时序告警中提取有效关联告警，构造告警点社区结构，并动态运用到实时告警分析，自动发现并收敛相关告警，达到高效准确的告警收敛，减少运维人员的告警处理成本，协助其从海量告警信息中寻找故障根因，提高工作效率。
2、为达到上述目的，本专利技术的实施例采用如下技术方案：
3、一种海量时序告警数据智能降噪方法，包括以下步骤：
4、分析并设定告警数据关键业务指标；
5、基于告警数据关键业务指标，构建告警关系模型；
6、基于告警关系模型，运用社区发现算法进行收敛降噪。
7、依照本专利技术的一个方面，所述告警数据关键业务指标包括时间和告警点，所述基于告警数据关键业务指标，构建告警关系模型的方法包括：
8、基于告警数据关键业务指标，将告警数据模型化
9、告警数据时序归一化并清洗；
10、设定时间窗口，将告警数据时序重演构建告警关系图；
11、告警数据关系模型权重计算；
12、告警关系模型信任度评估；
13、基于告警关系信任度评估结果构建告警点网络图。
14、依照本专利技术的一个方面，所述将告警数据模型化包括，将告警点组成告警关系模型，所述告警关系模型包括运维对象和指标名称。
15、依照本专利技术的一个方面，所述告警数据时序归一化并清洗包括：对海量时序告警数据进行归一化转化，并对关键业务指标相同的重复性数据进行清洗。
16、依照本专利技术的一个方面，所述将告警数据时序重演构建告警关系图包括：对归一化和清洗后的告警数据按照时序进行重演，时间窗口随当前告警数据滑动，计算当前告警点与窗口内的各告警点之间时间距离，建立告警点为顶点、两两告警点之间的累计时间权重以及累计发生次数为双权重的告警关系图。
17、依照本专利技术的一个方面，所述告警关系模型权重计算的计算公式为：
18、gravityab＝g*f(timeab)
19、(timeab>0且timeab＜timewin)，其中gravityab为权重计算结果，g为经验值常量，默认为10，timeab为a告警点和b告警点的时间距离，f为时间权重函数。
20、依照本专利技术的一个方面，所述告警关系模型信任度评估的评估标准1为：
21、rank1ab＝gravityab/min(na,nb)
22、其中na为a告警点发生频次，nb为b告警点发生频次，gravityab为a告警点和b告警点的累计时间距离权重。
23、依照本专利技术的一个方面，所述告警关系模型信任度评估的评估标准2为：
24、rank2ab＝min(na,nb)/max(na,nb)
25、其中na为a告警点发生频次，nb为b告警点发生频次。
26、依照本专利技术的一个方面，所述基于告警关系信任度评估结果构建告警点网络图包括：对告警关系图中的每条关系进行评估，剪掉低于评估标准的关系，建立告警点网络图。
27、依照本专利技术的一个方面，所述基于告警关系模型，运用社区发现算法进行收敛降噪的方法包括：
28、优化告警点模块度，发现告警点之间社区结构；
29、根据社区发现结果时序重演告警数据，收敛时间窗口相同社区告警点；
30、基于告警点的收敛结果进行评估；
31、调整参数形成告警收敛知识库；
32、输出收敛告警。
33、依照本专利技术的一个方面，所述优化告警点模块度，发现告警点之间社区结构包括：采用基于图数据的louvain算法，优化告警点之间的社区结构，计算告警点模块度，计算公式如下：
34、
35、其中m为图中边的总数量，ki、kj分别表示所有指向节点i、j的连边权重之和，aij表示节点i，j之间的连边的时间权重。
36、依照本专利技术的一个方面，所述基于告警点的收敛结果进行评估包括：使用收敛率模型算法，对计算结果进行评估，计算公式如下：
37、
38、其中ri是社区i的收敛告警数量，s为总告警数量，计算结果为总收敛率。
39、依照本专利技术的一个方面，所述调整参数形成告警收敛知识库包括：基于时序告警数据及收敛后的告警事件对总收敛率进行评估计算，调整告警关系模型参数，优化告警点社区结构，形成告警收敛知识库。
40、依照本专利技术的一个方面，所述输出收敛告警包括：以告警收敛知识库作为收敛依据，实时告警数据进行归一化和模型化后，对告警点社区进行激活、冷却及淬火操作，将时间窗口内相同社区的告警点进行收敛，输出收敛告警。
41、本专利技术实施的优点：本专利技术提供一种海量时序告警数据智能降噪方法，包括以下步骤：分析并设定告警数据关键业务指标；基于告警数据关键业务指标，构建告警关系模型；基于告警关系模型，运用社区发现算法进行收敛降噪。通过构建告警关系模型，运用社区发现算法，能够从海量时序告警中提取有效关联告警，构造告警点社区结构，并动态运本文档来自技高网...
【技术保护点】
1.一种海量时序告警数据智能降噪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警数据关键业务指标包括时间和告警点，所述基于告警数据关键业务指标，构建告警关系模型的方法包括：
3.根据权利要求2所述的一种海量时序告警数据智能降噪方法，其特征在于，所述将告警数据模型化包括，将告警点组成告警关系模型，所述告警关系模型包括运维对象和指标名称。
4.根据权利要求2所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警数据时序归一化并清洗包括：对海量时序告警数据进行归一化转化，并对关键业务指标相同的重复性数据进行清洗。
5.根据权利要求2所述的一种海量时序告警数据智能降噪方法，其特征在于，所述将告警数据时序重演构建告警关系图包括：对归一化和清洗后的告警数据按照时序进行重演，时间窗口随当前告警数据滑动，计算当前告警点与窗口内的各告警点之间时间距离，建立告警点为顶点、两两告警点之间的累计时间权重以及累计发生次数为双权重的告警关系图。
6.根据权利要求5所述的一种海量时
7.根据权利要求6所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警关系模型信任度评估的评估标准1为：
8.根据权利要求6所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警关系模型信任度评估的评估标准2为：
9.根据权利要求7或8任意一项所述的一种海量时序告警数据智能降噪方法，其特征在于，所述基于告警关系信任度评估结果构建告警点网络图包括：对告警关系图中的每条关系进行评估，剪掉低于评估标准的关系，建立告警点网络图。
10.根据权利要求2所述的一种海量时序告警数据智能降噪方法，其特征在于，所述基于告警关系模型，运用社区发现算法进行收敛降噪的方法包括：
11.根据权利要求10所述的一种海量时序告警数据智能降噪方法，其特征在于，所述优化告警点模块度，发现告警点之间社区结构包括：采用基于图数据的Louvain算法，优化告警点之间的社区结构，计算告警点模块度，计算公式如下：
12.根据权利要求10所述的一种海量时序告警数据智能降噪方法，其特征在于，所述基于告警点的收敛结果进行评估包括：使用收敛率模型算法，对计算结果进行评估，计算公式如下：
13.根据权利要求10所述的一种海量时序告警数据智能降噪方法，其特征在于，所述调整参数形成告警收敛知识库包括：基于时序告警数据及收敛后的告警事件对总收敛率进行评估计算，调整告警关系模型参数，优化告警点社区结构，形成告警收敛知识库。
14.根据权利要求13所述的一种海量时序告警数据智能降噪方法，其特征在于，所述输出收敛告警包括：以告警收敛知识库作为收敛依据，实时告警数据进行归一化和模型化后，对告警点社区进行激活、冷却及淬火操作，将时间窗口内相同社区的告警点进行收敛，输出收敛告警。
...【技术特征摘要】
1.一种海量时序告警数据智能降噪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警数据关键业务指标包括时间和告警点，所述基于告警数据关键业务指标，构建告警关系模型的方法包括：
3.根据权利要求2所述的一种海量时序告警数据智能降噪方法，其特征在于，所述将告警数据模型化包括，将告警点组成告警关系模型，所述告警关系模型包括运维对象和指标名称。
4.根据权利要求2所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警数据时序归一化并清洗包括：对海量时序告警数据进行归一化转化，并对关键业务指标相同的重复性数据进行清洗。
5.根据权利要求2所述的一种海量时序告警数据智能降噪方法，其特征在于，所述将告警数据时序重演构建告警关系图包括：对归一化和清洗后的告警数据按照时序进行重演，时间窗口随当前告警数据滑动，计算当前告警点与窗口内的各告警点之间时间距离，建立告警点为顶点、两两告警点之间的累计时间权重以及累计发生次数为双权重的告警关系图。
6.根据权利要求5所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警关系模型权重计算的计算公式为：
7.根据权利要求6所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警关系模型信任度评估的评估标准1为：
8.根据权利要求6所述的一种海量时序告警数据智能降噪方法，其特征在于，所述告警关系模型信任度评估的...
【专利技术属性】
技术研发人员：王俊，凌政，黄志明，
申请(专利权)人：上海北塔软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。