一种告警信息智能降噪的处理方法技术

本发明专利技术属于运维监控系统技术领域，尤其是一种告警信息智能降噪的处理方法，包括告警数量的压缩和告警关联关系的合并，S1，告警数量的压缩；所述告警数量的压缩是指将告警信息压缩整合后再发送，其通过对历史告警数据量的分析进行告警趋势预测，当告警数量超出阈值范围时进行告警压缩；S2，告警关联关系的合并；所述告警关联关系的合并是指对告警信息作关联规则数据挖掘，并将关联规则在后期整理后写入规则库中。本发明专利技术的有益效果是，极大地减轻了运维工程师的监控负担,使得其能有效对告警进行及时有效分析处理，同时，对告警元素的收敛分析处理，能有效确保告警间的关联性信息。

【技术实现步骤摘要】
一种告警信息智能降噪的处理方法
本专利技术涉及运维监控系统
，尤其涉及一种告警信息智能降噪的处理方法。
技术介绍
运维监控系统是整个产品生命周期中最重要的一环，它不仅对产品运行的健康状况起着非常重要的作用，同时也是衡量一个产品质量好坏的标准。监控系统可以对服务器、操作系统、中间件、应用进行全面的监测与报警，可以做到事前预警并发现故障，事后提供翔实的数据用于复盘问题。但是，监控系统有可能在短时间内产生大量告警，这不仅给短信网关造成了巨大压力,还极大地增加了运维工程师的监控负担,导致其可能无法对告警进行及时有效分析处理。此外，对告警元素的直接分析处理，可能导致忽略告警间的关联性信息。因此需要通过收敛方式对告警进行归纳与关联。在运维监控系统中，告警收敛师指对告警信息进行分析、合并和丢弃的过程，并在这个过程中降低告警信息的规模及网络运维的压力。
技术实现思路
本专利技术的目的是提供一种告警信息智能降噪的处理方法，该方法不仅解决了现有的监控系统有可能在短时间内产生大量告警，给短信网关造成了巨大压力,还极大地增加了运维工程师的监控负担,导致其可能无法对告警进行及时有效分析处理。而且，对告警元素的直接分析处理，可能导致忽略告警间的关联性信息，从而有效解决
技术介绍
中提出的问题。为实现上述目的，本专利技术提供以下方案：一种告警信息智能降噪的处理方法，包括以下步骤：S1，告警数量的压缩；统计接警人上个月的历史告警数据，以小时为单位对当前时段告警数量进行趋势预测，并得到一个预估值；S2，若当前告警数量大于预估值，则判断发生大规模告警并将该时段内的告警数量进行压缩；S3，告警关联关系的合并；根据步骤S2中得到的压缩后的告警信息，分别采用时序关联规则挖掘算法Apriori对具有时序关联关系的告警项进行挖掘和合并，或采用策略关联规则挖掘算法将具有相同或相似服务粒度的告警项进行策略关联关系挖掘和合并；S4，将S3中合并后的全部告警信息合并发送给同一接警人。优选地，所述告警趋势预测算法包括以下步骤：S21，基于大量历史告警数据建立告警量统计学模型得到数据的分布规律；S22，通过求解极大似然估计得到大规模告警阈值；S23，通过系数补偿进行优化调整，输出按小时计大规模告警阈值的规则文件。优选地，时序关联规则挖掘算法的输入是基于时序告警数据序列，首先得到带时间窗口的支持度候选集，然后根据该候选集统计支持度计数，接着计算置信度，输出按置信度阈值判断得到的关联规则文件。优选地，策略关联规则挖掘算法的输入是就服务粒度告警数据序列，服务粒度由小到大依次为配置窗口、ip、指标code，即该算法的执行优先级为按配置窗口合并、按ip合并、按指标code合并，最后输出策略规则文件。更优选地，对告警收敛方案拟定执行优先级策略，具体执行策略优先级如下：S51，若由告警趋势预测算法得出当前满足大规模告警条件，则将属于同一接警人名下的告警信息全部合并成一条发送给该接警人；S52，若同时有多个关联策略产生告警，则采用时序关联规则挖掘算法进行时序关联规则合并；S53，若满足同一服务下多个机器有多个策略产生告警，则采用策略关联规则挖掘算法中的按配置窗口合并策略进行告警信息合并；S54，若满足同一机器上多个实例产生告警，则采用策略关联规则挖掘算法中的按ip合并策略进行告警信息合并；S55，若满足同一策略下多个实例产生告警，则采用策略关联规则挖掘算法中的按监控策略合并策略进行告警信息合并；S56，若满足同一监控对象上多个策略产生告警，则采用策略关联规则挖掘算法中的按指标code合并策略进行告警信息合并。本专利技术中的有益效果为：通过收敛方式对告警进行智能归纳与关联，解决了现有的监控系统有可能在短时间内产生大量告警，给短信网关造成的巨大压力,极大地减轻了运维工程师的监控负担,使得其能有效对告警进行及时有效分析处理。同时，对告警元素的收敛分析处理，能有效确保告警间的关联性信息。附图说明图1为本专利技术提出的一种告警信息智能降噪的处理方法的告警收敛算法框架图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。如图1所示，一种告警信息智能降噪的处理方法，包括告警收敛，告警收敛由告警数量的压缩和告警关联关系的合并两部分组成。告警数量的压缩是指将告警信息压缩整合后在发送，一般通过对历史告警数据量的分析进行告警趋势预测，当告警数量明显超出阈值范围时进行告警压缩，其侧重于解决不同服务器报同一故障的问题，解决方案是先延迟报警，然后讲告警信息压缩整合后在发送，保证每个接受人收到的信息都是精华，告警关联侧重于解决同一故障触发多个告警的问题，解决方案是对告警信息作关联规则数据挖掘，并将规则在后期整理后写入规则库中。本专利技术一种告警信息智能降噪的处理方法，首先，采用告警趋势预测算法判断当前是否发生大规模告警，综合运用数学方法进行建模和参数预估，若当前告警数量远大于算法得到的预估值，则判断发生大规模告警并将该时段内的告警项进行压缩，然后，采用时序关联规则挖掘算法Apriori对具有时序关联关系的告警项进行挖掘和合并，最后，采用策略关联规则挖掘算法将具有相同或相似服务粒度的告警项进行策略关联关系挖掘和合并，并将新增的合并策略存策略关联关系库中。考虑到告警数据是时序数据，所以针对时序数据提出“趋势预测挖掘”、“时序关联规则”及“策略关联”三个方面，将这三种算法按一定优先级排序，联合完成告警收敛任务。告警收敛的核心是告警压缩和告警关联，告警趋势预测算法可实现告警压缩，时序关联规则挖掘算法和策略关联规则挖掘算法可实现告警关联。“告警趋势预测算法”的输入是每小时统计的告警量，首先基于大量历史告警数据建立告警量统计学模型得到数据的分布规律，其次通过求解极大似然估计得到大规模告警阈值，然后通过系数补偿进行优化调整，最后输出按小时计大规模告警阈值的规则文件。“时序关联规则算法”的输入是基于时序告警数据序列，首先得到带时间窗口的支持度候选集，然后根据该候选集统计支持度计数，接着计算置信度，输出按置信度阈值判断得到的关联规则文件。“策略关联规则挖掘算法”的输入是就服务粒度告警数据序列，服务粒度由小到大依次为配置窗口、ip、指标code。因此该算法的执行优先级为按配置窗口合并、按ip合并、按指标code合并，最后输出策略规则文件。对以上三种告警收敛方案拟定执行优先级策略，从前到后依次满足对应条件时，根据优先级执行告警信息的合并，以达到告警收敛的目的，具体执行策略优先级如下：若由“告警趋势预测算法”得出当前满足大规模告警条件，则将属于同一接警人名下的告警信息全部合并成一条发送给该接警人。若同时有多个关联策略产生告警，则采用“时序关联规则挖掘算法”进行时序关联规则合并。若满足同一本文档来自技高网...

【技术保护点】
1.一种告警信息智能降噪的处理方法，其特征在于，包括以下步骤：/nS1，告警数量的压缩；统计接警人上个月的历史告警数据，以小时为单位对当前时段告警数量进行趋势预测，并得到一个预估值；/nS2，若当前告警数量大于预估值，则判断发生大规模告警并将该时段内的告警数量进行压缩；/nS3，告警关联关系的合并；根据步骤S2中得到的压缩后的告警信息，分别采用时序关联规则挖掘算法Apriori对具有时序关联关系的告警项进行挖掘和合并，或采用策略关联规则挖掘算法将具有相同或相似服务粒度的告警项进行策略关联关系挖掘和合并；/nS4，将S3中合并后的全部告警信息合并发送给同一接警人。/n

【技术特征摘要】
1.一种告警信息智能降噪的处理方法，其特征在于，包括以下步骤：
S1，告警数量的压缩；统计接警人上个月的历史告警数据，以小时为单位对当前时段告警数量进行趋势预测，并得到一个预估值；
S2，若当前告警数量大于预估值，则判断发生大规模告警并将该时段内的告警数量进行压缩；
S3，告警关联关系的合并；根据步骤S2中得到的压缩后的告警信息，分别采用时序关联规则挖掘算法Apriori对具有时序关联关系的告警项进行挖掘和合并，或采用策略关联规则挖掘算法将具有相同或相似服务粒度的告警项进行策略关联关系挖掘和合并；
S4，将S3中合并后的全部告警信息合并发送给同一接警人。


2.如权利要求1所述的一种告警信息智能降噪的处理方法，其特征在于，所述告警趋势预测算法包括以下步骤：
S21，基于大量历史告警数据建立告警量统计学模型得到数据的分布规律；
S22，通过求解极大似然估计得到大规模告警阈值；
S23，通过系数补偿进行优化调整，输出按小时计大规模告警阈值的规则文件。


3.如权利要求1所述的一种告警信息智能降噪的处理方法，其特征在于，时序关联规则挖掘算法的输入是基于时序告警数据序列，首先得到带时间窗口的支持度候选集，然后根据该候选集统计支持度计数，接着计算置信度，输出按置信度阈...

【专利技术属性】
技术研发人员：李卓兵，张儒，徐力，张卧薪，
申请(专利权)人：江苏达科云数据科技有限公司，
类型：发明
国别省市：江苏;32