一种基于数据挖掘告警关联的方法技术

本发明专利技术公开了一种基于数据挖掘告警关联的方法，包括：步骤1)获取网络运维中的告警数据，按照5分钟的区间粒度，找到在5分钟区间内的告警特征；步骤2)通过FP

【技术实现步骤摘要】
一种基于数据挖掘告警关联的方法


[0001]本专利技术属于一种基于数据挖掘告警关联的方法，特别是一种变形FPTREE(频繁模式树，Frequent Pattern tree)挖掘告警关联的方法。

技术介绍

[0002]在网络运维中会产生大量的告警，告警间可能会存在有千丝万缕的关系，比如说一个接口down告警，可能是由接口光模块失效的告警造成的原因。而找到这个告警的关系链，对于快速定位告警的根因，从根本上解决问题有这重大的意义。
[0003]目前去找告警关联关系的方式，业界一般的做法是通过人工的经验形成告警知识库，在告警产生后，依靠告警知识库形成告警关联关系。
[0004]但是，现有技术通过人工经验形成告警数据库，有以下缺点：
[0005]1、完全依赖于人工，很难穷尽所有告警的关联关系。
[0006]2、无论是运营商级网管还是企业级网管，对于告警梳理都要区分厂商，然后分厂商形成告警知识库，跨厂商的告警关联因为不同厂家对于相同告警的名称定义不同，人工形成的告警关联规则会很复杂，在实际实现过程中，一般会降低告警关联的复杂性，只会通过同厂商的告警关联分析告警关系，在实际网络运维中作用有限。

技术实现思路

[0007]本专利技术所要解决的技术问题是提供一种基于数据挖掘告警关联的方法，尤其是一种变形FPTREE(频繁模式树，Frequent Pattern tree)挖掘告警关联的方法。
[0008]本专利技术解决上述技术问题所采取的技术方案如下：
[0009]一种基于数据挖掘告警关联的方法，包括：
[0010]步骤1)获取网络运维中的告警数据，按照5分钟的区间粒度，找到在5分钟区间内的告警特征；
[0011]步骤2)通过FP
‑
TREE算法，挖掘频繁项集合；
[0012]步骤3)对频繁项集合进行去重处理，并最终形成多个告警频繁项；
[0013]步骤4)对某告警分析时，借助链路信息、频繁项组合信息，获取告警的关联关系。
[0014]本专利技术通过频繁挖掘的方式自动生成告警关联关系的方式形成告警关联关系，通过这种告警关联关系可以很快速的找到告警触发后引起的其他告警，可以快速的找到告警根因。
[0015]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0016]下面结合附图对本专利技术进行详细的描述，以使得本专利技术的上述优点更加明确。其
中，
[0017]图1是本专利技术基于数据挖掘告警关联的方法的流程示意图；
[0018]图2是本专利技术基于数据挖掘告警关联的方法的实施例的示意图；
[0019]图3是本专利技术基于数据挖掘告警关联的方法的实施例的示意图；
[0020]图4是本专利技术基于数据挖掘告警关联的方法的实施例的示意图。
具体实施方式
[0021]以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。
[0022]如图1所示，本专利技术实施例的一种基于数据挖掘告警关联的方法，包括：
[0023]步骤1)获取网络运维中的告警数据，按照5分钟的区间粒度，找到在5分钟区间内的告警特征；
[0024]步骤2)通过FP
‑
TREE算法，挖掘频繁项集合；
[0025]步骤3)对频繁项集合进行去重处理，并最终形成多个告警频繁项；
[0026]步骤4)对某告警分析时，借助链路信息、频繁项组合信息，获取告警的关联关系。
[0027]其中，更具体地说，各个步骤的说明如下：
[0028]其中，步骤1)获取网络运维中的告警数据，按照5分钟的区间粒度，找到在5分钟区间内的告警特征，具体包括：
[0029]告警特征的寻找方法和原理如下：
[0030]第一、有关联关系的告警产生几乎是在同一时刻，一天1440分钟，按照5分钟一个段去找告警特征。
[0031]第二，告警如果有关联，分为两种情况，情况1是设备自身产生多种关联告警，比如接口UP、接口状态恢复。情况2是设备链路相关的告警，设备1产生的告警导致设备2也产生告警。这里考虑计算复杂度链路设置为三层。
[0032]举例如下：在20：00到20：05分形成告警特征分两步：
[0033]1按照设备为key，找到和自己相关的告警，相关告警分两部分，一部分为设备自身告警，一部分为设备三层链路范围内的告警。值为(告警名称和告警次数)
[0034](设备1、(告警1、告警次数a))
[0035](设备1、(告警2、告警次数b))
[0036](设备1、(告警3、告警次数c))
[0037](设备2、(告警1、告警次数d))
[0038](设备2、(告警3、告警次数e))
[0039]2对步骤1的特征进行删除key的归并处理，处理完如下：
[0040][(告警1、告警次数a)，(告警2、告警次数b)，(告警3、告警次数c)][0041][(告警1、告警次数d)，(告警3、告警次数e)][0042]其中，按照上述方法，使用最近两周的所有历史告警数据形成多个告警
[0043]序列，具体如下：
[0044][(告警1、告警次数a)，(告警2、告警次数b)，(告警3、告警次数c)][0045][(告警1、告警次数d)，(告警3、告警次数e)][0046]…………………………………………………………
[0047]FPTREE原始算法是多个序列生成FP树。
[0048]步骤2)通过FP
‑
TREE算法，挖掘频繁项集合，具体包括：
[0049]步骤如下：
[0050]扫描数据，得到所有频繁一项集的的计数。然后删除支持度低于阈值的项，将1项频繁集放入项头表，并按照支持度降序排列。
[0051]扫描数据，将读到的原始数据剔除非频繁1项集，并按照支持度降序排列。
[0052]读入排序后的数据集，插入FP树，插入时按照排序后的顺序，插入FP树中，排序靠前的节点是祖先节点，而靠后的是子孙节点。如果有共用的祖先，则对应的公用祖先节点计数加1。插入后，如果有新节点出现，则项头表对应的节点会通过节点链表链接上新节点。直到所有的数据都插入到FP树后，FP树的建立完成。
[0053]从项头表的底部项依次向上找到项头表项对应的条件模式基。从条件模式基递归挖掘得到项头表项项的频繁项集。
[0054]如果不限制频繁项集的项数，则继续从项头表的底部项依次向上找到项头表项对应的条件模式基。从条件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据挖掘告警关联的方法，其特征在于，包括：步骤1)获取网络运维中的告警数据，按照5分钟的区间粒度，找到在5分钟区间内的告警特征；步骤2)通过FP
‑
TREE算法，挖掘频繁项集合；步骤3)对频繁项集合进行去重处理，并最终形成多个告警频繁项；步骤4)对某告警分析时，借助链路信息、频繁项组合信息，获取告警的关联关系。2.根据权利要求1所述的基于数据挖掘告警关联的方法，其特征在于，步骤1)中，所述按照5分钟的区间粒度，找到在5分钟区间内的告警特征，具体包括：按照5分钟一个段去找告警特征，包括：子步骤1)按照设备为key，找到和自己相关的告警，相关告警分两部分，一部分为设备自身告警，一部分为设备三层链路范围内的告警；子步骤2)对子步骤1)的特征进行删除key的归并处理，并使得设定时间内所有历史告警数据形成多个告警序列。3.根据权利要求2所述的基于数据挖掘告警关联的方法，其特征在于，步骤2)通过FP
‑
TREE算法，挖掘频繁项集合，具体包括：扫描数据，得到所有频繁一项集的的计数；删除支持度低于阈值的项，将1项频繁集放入项头表，并按照支持度降序排列；扫描数据，将读到的原始数据剔除非频繁1项集，并按照支持度降序排列。读入排序后的数据集，插入FP树，插入时按照排序后的顺序，插入FP树中，排序靠前的节点是祖先节点，而靠后的是子孙节点。如果有共用的祖先，则对应的公用祖先节点计数加1；插入后，如果有新节点出现，则项头表对应的节点会通过节点链表链接上新节点，直到所有的数据都插入到FP树后，FP树的建立完成。4.根据权利要求3所述的基于数...

【专利技术属性】
技术研发人员：李宜明，刘伟，胡剑青，
申请(专利权)人：北京润通丰华科技有限公司，
类型：发明
国别省市：