一种大规模网络告警实时拓扑建立方法技术

本发明专利技术公开了一种大规模网络告警实时拓扑建立方法，包括：S1、获取实时告警数据并按照告警设备对实时告警数据进行分类，生成多个告警分组；S2、按照告警时间顺序对每个告警分组内的告警数据进行排序；S3、分别遍历每个告警分组，建立或更新告警分组对应的局部告警拓扑关系图；S4、判断是否存在未处理的实时告警数据，若是，则返回步骤S1，反之继续执行步骤S5；S5、根据多个告警分组对应的局部告警拓扑关系图发布全局告警拓扑关系图。本方法理过程自动化，无需过多的处理参数配置，可简化运维过程中分析告警关联关系的复杂度，同时通过直观的方式展现告警之间的拓扑关系，可广泛应用于运维领域中。

【技术实现步骤摘要】

本专利技术涉及通信
，特别是涉及一种大规模网络告警实时拓扑建立方法。
技术介绍
为了便于下文的描述，首先给出以下名词解释：大规模网络告警：对于数据中心而言，网络告警数据的存储、计算和分析超过一台服务器处理能力的网络告警定义为大规模网络告警；实时处理：告警日志处理方法处理间隔小于10分钟；告警关联分析：在告警日志中分析挖掘告警之间发生时间的先后顺序、同时发生的概率关系或者其他逻辑关系的分析，定义为告警关联分析；拓扑建立：建立不同网络告警之间的拓扑关系，该拓扑关系可以是故障发生的因果关系也可以是故障发生的时间拓扑关系。告警噪声：是指不相关的告警相互混合在一起；Kafka：由LinkedIn开发并开源的分布式消息系统；SparkStreaming：建立在Spark上的实时计算框架,通过它提供的丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互试查询应用。随着IT技术的发展以及大规模云计算数据中心的建成并且分布式并行计算技术的日趋成熟，IT数据中心在运维过程中产生的告警日志对提升运维质量，发现运维故障等，可提供一种行之有效的技术手段和可能。日志是数据中心系统运行过程中行为记录的集合，这些行为记录描述了系统或者设备在某个时间点发生的某个具体事件。通过对日志进行分析挖掘，可以获得告警关联分析，从而及时有效地发现运维故障。现有的日志挖掘分析技术中主要分为以下几类：第一，使用基于Windows滑动时间窗口方式和Apriori算法进行告警关联关系分析；第二，使用Hive等数据仓库结合MapReduce并行计算框架对日志进行分布式Apriori关联分析。现有技术中主要存在以下几个缺点：1、没有利用时间维度信息：现有的告警分析技术中，使用基于滑动窗口的方式划分告警记录。定义一个告警时间窗口，按照定义的时间窗口，将同一个时间窗口内发生的告警视为一起发生，从而根据窗口的数量，将告警记录划分成一系列的告警集合，然后使用Apriori关联算法或者FP-Growth关联算法进行分析挖掘，将每一个告警集合当成Apriori中的一个ItemSet，集合中的每个告警当成一个Item。这种处理方式没有充分利用时间的维度信息。首先，一个时间窗口中发生告警认为是同时发生，但没有用上在这个窗口中具体发生的先后关系；其次，在两个连续的时间窗口边界上，两个发生时间小于一个窗口长度的告警被人为地划分成两个集合，丢失了可能存在关联的信息。2、缺乏对告警噪声进行有效的处理：现有的告警关联分析技术中根据告警发生的时间以及自定义的告警时间窗口长度对告警进行简单划分，这种划分方法缺乏对噪声进行有效的处理。在告警信息中还有很多诸如告警主体等其他维度的信息可以辅助告警的划分，从而有效降去除告警噪声，比如大多数不同类型、不同地区的设备的告警往往只有时间上的偶然性，但是这种偶然性往往被时间窗口所忽略，并且手动划分时间窗口丢失窗口边界之间的可能存在的关联关系，比如告警A、B或者故障A、B刚好发生了两个时间窗口的边界，且两者发生的时间隔远远小于时间窗口长度。3、仅提供告警之间的相关性分析，无法提供告警之间的告警先后关系分析以及告警链，即无法根据某一个告警找出其告警拓扑关系图。现有的告警关联分析借助于常见的Apriori关联分析算法或者FP-Growth算法挖掘告警记录之间的关系，这种方法不区分告警的先后的顺序，也不提供全局的告警拓扑关系，数据中心的运维人员无法根据分析结果，快速找到某个特定的告警或者特定故障的相关性等信息，例如在某该特定告警发生之后共发生了几次该特定告警，或者该特定告警发生之后，发生了哪些告警，每个告警分别发生了多少次，哪个告警发生的次数最多。
技术实现思路
为了解决上述的技术问题，本专利技术的目的是提供一种大规模网络告警实时拓扑建立方法。本专利技术解决其技术问题所采用的技术方案是：一种大规模网络告警实时拓扑建立方法，包括：S1、获取实时告警数据并按照告警设备对实时告警数据进行分类，生成多个告警分组；S2、按照告警时间顺序对每个告警分组内的告警数据进行排序；S3、分别遍历每个告警分组，建立或更新告警分组对应的局部告警拓扑关系图；S4、判断是否存在未处理的实时告警数据，若是，则返回步骤S1，反之继续执行步骤S5；S5、根据多个告警分组对应的局部告警拓扑关系图发布全局告警拓扑关系图。进一步，所述步骤S3与S4之间还包括以下步骤：将更新后的局部告警拓扑关系图反馈到运维系统。进一步，所述步骤S1，包括：S11、获取实时告警数据并将实时告警数据发送到Kafka实时队列；S12、从Kafka实时队列中依次取出一个数据片的实时告警数据并转换为分布式弹性数据集，并在分布式弹性数据集中按照告警设备对实时告警数据进行分类，生成多个告警分组。进一步，所述步骤S3，其具体为：分别遍历每个告警分组，将告警分组内的每个告警种类作为局部告警拓扑关系图的一个节点，不同告警之间的先后关系作为局部告警拓扑关系图的边，建立或更新局部告警拓扑关系图。进一步，所述建立或更新局部告警拓扑关系图，其具体为：针对按照时间顺序先后发生的告警A和告警B，判断是否存在告警A到告警B的有向边，若是，则将该有向边的边值加1，反之，建立告警A到告警B的有向边，且令该有向边的边值为1。进一步，所述步骤S4中所述判断是否存在未处理的实时告警数据的步骤，其具体为：判断Kafka实时队列是否还存在未被取出的实时告警数据。进一步，所述步骤S5之后，还包括以下步骤：S6、将全局告警拓扑关系图中的节点按照告警出现次数进行降序排序，同时将有向边按照边值进行降序排序。本专利技术的有益效果是：本专利技术提供了一种大规模网络告警实时拓扑建立方法，包括：S1、获取实时告警数据并按照告警设备对实时告警数据进行分类，生成多个告警分组；S2、按照告警时间顺序对每个告警分组内的告警数据进行排序；S3、分别遍历每个告警分组，建立或更新告警分组对应的局部告警拓扑关系图；S4、判断是否存在未处理的实时告警数据，若是，则返回步骤S1，反之继续执行步骤S5；S5、根据多个告警分组对应的局部告警拓扑关系图发布全局告警拓扑关系图。本方法理过程自动化，无需过多的处理参数配置，而且可提供全局告警拓扑关系图，可以清晰明了、直观地显示各告警之间的拓扑关系，使得运维人员可以快速定位到在经常在某个具体告警之前产生的告警和经常在紧随某个具体告警之后发生的告警。本方法可简化运维过程中分析告警关联关系的复杂度，同时通过直观的方式展现告警之间的拓扑关系。附图说明下面结合附图和实施例对本专利技术作进一步说明。图1是本专利技术的一种大规模网络告警实时拓扑建立方法的具体实施例的流程图；图2是本专利技术的一种大规模网络告警实时拓扑建立方法的具体实施例所建立的局部告警拓扑关系图的实例。具体实施方式本专利技术提供了一种大规模网络告警实时拓扑建立方法，包括：S1、获取实时告警数据并按照告警设备对实时告警数据进行分类，生成多个告警分组；S2、按照告警时间顺序对每个告警分组内的告警数据进行排序；S3、分别遍历每个告警分组，建立或更新告警分组对应的局部告警拓扑关系图；S4、判断是否存在未处理的实时告警数据，若是，则返回步骤S1，反之继续执行步骤S5；S5、根据多个告警分组对应的局部告警拓扑关系图发布全本文档来自技高网...

【技术保护点】
一种大规模网络告警实时拓扑建立方法，其特征在于，包括：S1、获取实时告警数据并按照告警设备对实时告警数据进行分类，生成多个告警分组；S2、按照告警时间顺序对每个告警分组内的告警数据进行排序；S3、分别遍历每个告警分组，建立或更新告警分组对应的局部告警拓扑关系图；S4、判断是否存在未处理的实时告警数据，若是，则返回步骤S1，反之继续执行步骤S5；S5、根据多个告警分组对应的局部告警拓扑关系图发布全局告警拓扑关系图。

【技术特征摘要】
2016.01.21 CN 20161004150281.一种大规模网络告警实时拓扑建立方法，其特征在于，包括：S1、获取实时告警数据并按照告警设备对实时告警数据进行分类，生成多个告警分组；S2、按照告警时间顺序对每个告警分组内的告警数据进行排序；S3、分别遍历每个告警分组，建立或更新告警分组对应的局部告警拓扑关系图；S4、判断是否存在未处理的实时告警数据，若是，则返回步骤S1，反之继续执行步骤S5；S5、根据多个告警分组对应的局部告警拓扑关系图发布全局告警拓扑关系图。2.根据权利要求1所述的一种大规模网络告警实时拓扑建立方法，其特征在于，所述步骤S3与S4之间还包括以下步骤：将更新后的局部告警拓扑关系图反馈到运维系统。3.根据权利要求1所述的一种大规模网络告警实时拓扑建立方法，其特征在于，所述步骤S1，包括：S11、获取实时告警数据并将实时告警数据发送到Kafka实时队列；S12、从Kafka实时队列中依次取出一个数据片的实时告警数据并转换为分布式弹性数据集，并在分布式弹性数据集中按照告警设备对实时告警...

【专利技术属性】
技术研发人员：赵淦森，林成创，张海明，庄序填，王欣明，唐华，聂瑞华，汤庸，张奇之，黄顺康清，袁锦泉，赵淑娴，纪求华，王晓莉，
申请(专利权)人：华南师范大学，广东知云信息科技有限公司，
类型：发明
国别省市：广东;44