优化告警消息处理效率方法和系统技术方案

优化告警消息处理效率方法和系统，包括：告警监测定义模块接收告警数据且发送监测定义变更消息；告警监测流量计数模块的告警数据接收模块实时接收监测定义变更消息和告警数据，读取并更新告警监测过滤器集合，计算满足的告警监测过滤器的数量，生成并更新相应过滤器的数据；告警负载均衡模块根据Kafka集群消息类别的数量来确定启动告警标准化服务的实例数来实现kafka消费的负载均衡；告警消息异步多线程处理模块调用多个线程来并发处理多个告警消息；告警监测判断模块接收告警数据且判定并产生断流和风暴告警。异步多线程处理方式，结合负载均衡，提升告警的处理效率，克服逐一对告警消息处理、需要等待资源访问结束、浪费时间且效率低的问题。费时间且效率低的问题。费时间且效率低的问题。

【技术实现步骤摘要】
优化告警消息处理效率方法和系统


[0001]本专利技术涉及网络告警监控
，尤其涉及告警断流与告警风暴的监测系统。

技术介绍

[0002]随着综合性的网络集中管理、集中监控的发展，告警集中化的程度越来越高，为了提高网络运维自动化的程度，减轻监控人员的工作量，需要网管系统提供解析告警并对告警数据进行资源补充、标准化处理。
[0003]随着告警数据量的增加，对告警标准化的处理效率要求越来越高，当前技术为采用同步的方式逐一对告警消息进行处理，同步处理即需要等当前所有的操作都做完，才能对下一条告警进行处理。这种技术方案当告警数据量小的时候可以应付，但是当告警数据量达到一定量级的时候，告警消息不能及时处理，导致消息延迟，因此失去了告警消息的实时性，造成用户体验差。
[0004]为此，亟需一种告警断流与告警风暴的监测方法和系统来解决现有技术之缺陷。

技术实现思路

[0005]本专利技术之目的在于提供一种优化告警消息处理效率方法和系统，能够大幅提升监测告警断流或告警风暴的效率和实时性。
[0006]为实现上述目的，本专利技术提供了一种优化告警消息处理效率方法包括：告警监测定义模块接收告警数据且发送监测定义变更消息。告警监测流量计数模块的告警数据接收模块实时接收监测定义变更消息和告警数据。并且，告警监测流量计数模块读取并更新监测定义变更消息内部的告警监测过滤器集合。告警监测流量计数模块循环遍历告警监测过滤器集合，比较告警数据是否满足某个告警监测过滤器预设的条件并计算满足的告警监测过滤器的数量，生成并更新计数队列中相应告警监测过滤器的数据，其中，告警监测过滤器的数据包括：告警监测过滤器ID、开始时间、结束时间、计数数值和实例名。告警负载均衡模块根据Kafka集群消息类别的数量来确定启动告警标准化服务的实例数来实现kafka消费的负载均衡。告警消息异步多线程处理模块调用多个线程来并发处理多个告警消息。告警监测判断模块接收告警数据且判定并产生断流和风暴告警。
[0007]作为优选方式，在告警监测定义模块接收告警数据之前创建告警监测过滤器，包括：通过告警监测定义模块内部的告警监测定义UI模块，创建监测告警断流、告警风暴相关的过滤条件。
[0008]UI即User Interface，指用户者界面。
[0009]作为优选方式，在告警监测定义模块创建告警监测过滤器之前，搭建好基础环境且创建收发数据消息和控制消息的相应主题。其中，收发数据消息和控制消息包括收发告警监测定义模块的消息和收发告警监测过滤器流量计数消息。
[0010]作为优选方式，告警监测定义模块接收告警数据且发送监测定义变更消息包括：告警监测定义模块接收告警数据后，加载告警监测定义UI，以及告警监测定义模块通过内
部的告警监测变更通知模块向相应消息模块发送监测定义变更消息。进行告警监测变更通知的处理后，告警监测定义模块通过ctrl.q函数来调用告警监测流量计数模块，进而生成相应的告警监测过滤器，多个告警监测过滤器构成告警监测过滤器集合。
[0011]作为优选方式，生成并更新计数队列中相应告警监测过滤器的数据包括：更新告警监测流量计数模块统计的内部告警监测过滤器的计数的结果队列，其中，结果队列包括实时更新的告警监测过滤器集合。告警监测流量计数模块发送更新的告警监测过滤器集合相关的告警监测消息到kafka。
[0012]作为优选方式，读取并更新监测定义变更消息内部的告警监测过滤器集合包括：告警监测流量计数模块通过告警监测加载模块实时加载告警监测过滤器集合，且告警监测流量计数模块实时通过告警监测变更处理模块来实时修改告警监测过滤器集合的告警监测过滤器的数据。其中，通过告警监测变更处理模块来实时修改告警监测过滤器集合的告警监测过滤器的数据包括：告警监测流量计数模块通过内部的告警监测变更处理模块侦听相应消息模块的监测定义变更消息。以及告警监测流量计数模块从持久化数据库里读取告警监测过滤器定义，并修改内部的告警监测过滤器集合。其中，修改内部的告警监测过滤器集合包括：若告警监测过滤器启用则在集合里添加新的告警监测过滤器，若告警监测过滤器禁用则在集合里删除指定的告警监测过滤器。
[0013]作为优选方式，告警监测判断模块接收告警数据且判定并产生断流和风暴告警包括：告警监测判断模块调用alarmCount.q来读取告警监测消息中告警监测过滤器集合中相应的告警监测过滤器的数量。告警监测判断模块根据断流监测策略和风暴监测策略来对告警监测消息进行处理，进而判定并产生断流和风暴告警。
[0014]作为优选方式，告警断流策略包括：若告警监测过滤器在预设时间阈值内收到的告警条数小于预设最小阈值则判断触发告警断流。告警风暴流策略包括：若告警监测过滤器在预设时间阈值内收到的告警条数大于预设最大阈值则判断触发告警风暴。
[0015]作为优选方式，判定并产生断流和风暴告警后，告警监测模块将相应告警问题和告警清除的结果以通过短信通知模块发送至用户客户端，从而通知用户进行告警的处理。
[0016]在本申请说明书中，Kafka是本领域的公知术语，其是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，其可以处理消费者在网站中的所有动作流数据。
[0017]每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处。
[0018]本专利技术提供了一种优化告警消息处理效率系统包括告警监测定义模块、告警监测流量计数模块、告警监测判断模块、告警负载均衡模块和告警消息异步多线程处理模块。其中，告警监测定义模块接收告警数据且发送监测定义变更消息。告警监测流量计数模块的告警数据接收模块实时接收监测定义变更消息和告警数据。并且，告警监测流量计数模块读取并更新监测定义变更消息内部的告警监测过滤器集合。告警监测流量计数模块循环遍历告警监测过滤器集合，比较告警数据是否满足某个告警监测过滤器预设的条件并计算满足的告警监测过滤器的数量，生成并更新计数队列中相应告警监测过滤器的数据，其中，告警监测过滤器的数据包括：告警监测过滤器ID、开始时间、结束时间、计数数值和实例名。告
警负载均衡模块根据Kafka集群消息类别的数量来确定启动告警标准化服务的实例数来实现kafka消费的负载均衡。告警消息异步多线程处理模块调用多个线程来并发处理多个告警消息。告警监测判断模块接收告警数据且判定并产生断流和风暴告警。
[0019]与现有技术相比，一方面本专利技术采用异步多线程处理的方式，结合kafka的负载均衡，有效提升告警消息的处理效率，从而有效克服现有技术存在的逐一对告警消息进行处理，需要等待资源访问结束,浪费时间且效率低的问题。另一方面，本专利技术能够大幅提升监测告警断流、告警风暴的效率和实时性。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种优化告警消息处理效率方法，其特征在于，包括：告警监测定义模块接收告警数据且发送监测定义变更消息；告警监测流量计数模块的告警数据接收模块实时接收监测定义变更消息和告警数据；并且，所述告警监测流量计数模块读取并更新监测定义变更消息内部的告警监测过滤器集合；所述告警监测流量计数模块循环遍历告警监测过滤器集合，比较告警数据是否满足某个告警监测过滤器预设的条件并计算满足的告警监测过滤器的数量，，生成并更新计数队列中相应告警监测过滤器的数据，其中，告警监测过滤器的数据包括：告警监测过滤器ID、开始时间、结束时间、计数数值和实例名；告警负载均衡模块根据Kafka集群消息类别的数量来确定启动告警标准化服务的实例数来实现kafka消费的负载均衡；告警消息异步多线程处理模块调用多个线程来并发处理多个告警消息；告警监测判断模块接收告警数据且判定并产生断流和风暴告警。2.根据权利要求1所述的优化告警消息处理效率方法，其特征在于，在所述告警监测定义模块接收告警数据之前创建告警监测过滤器，包括：通过所述告警监测定义模块内部的告警监测定义UI模块，创建监测告警断流、告警风暴相关的过滤条件。3.根据权利要求2所述的优化告警消息处理效率方法，其特征在于，在所述告警监测定义模块创建告警监测过滤器之前，搭建好基础环境且创建收发数据消息和控制消息的相应主题；其中，收发数据消息和控制消息包括收发告警监测定义模块的消息和收发告警监测过滤器流量计数消息。4.根据权利要求1所述的优化告警消息处理效率方法，其特征在于，告警监测定义模块接收告警数据且发送监测定义变更消息包括：所述告警监测定义模块接收告警数据后，加载告警监测定义UI，以及所述告警监测定义模块通过内部的告警监测变更通知模块向相应消息模块发送监测定义变更消息；进行告警监测变更通知的处理后，所述告警监测定义模块通过ctrl.q函数来调用所述告警监测流量计数模块，进而生成相应的告警监测过滤器，多个告警监测过滤器构成告警监测过滤器集合。5.根据权利要求1所述的优化告警消息处理效率方法，其特征在于，生成并更新计数队列中相应告警监测过滤器的数据包括：更新告警监测流量计数模块统计的内部告警监测过滤器的计数的结果队列，其中，结果队列包括实时更新的告警监测过滤器集合；所述告警监测流量计数模块发送更新的告警监测过滤器集合相关的告警监测消息到kafka。6.根据权利要求1所述的优化告警消息处理效率方法，其特征在于，读取并更新监测定义变更消息内部的告警监测过滤器集合包括：所述告警监测流量计数模块通过告警监测加载模块实时加载告警监测过滤器集合，且所述告警监测流量计数模块实时通过告警监...

【专利技术属性】
技术研发人员：刘曦雨，王永安，张国华，
申请(专利权)人：成都亿阳信通信息技术有限公司，
类型：发明
国别省市：