一种自适应的基于知识图谱的告警聚合方法技术

本发明专利技术提供一种自适应的基于知识图谱的告警聚合方法，包括训练过程和实时告警，所述训练过程我们利用CMDB数据构建软硬件知识图谱，软硬件知识图谱的节点有系统、部署单元、主机实例组、软件、虚拟机、物理机、接入交换机、核心交换机、汇聚交换机、路由器等，软硬件知识图谱的边关系有构成、调用、逻辑连接、汇聚、承载、宿主和物理连接；利用历史告警数据用DBSCAN和PCMCI算法挖掘告警知识图谱，告警知识图谱的节点是告警分类，实时告警聚类时我们利用告警在软硬件知识图谱上和告警知识图谱上的拓扑关系和时间维度上的关系来计算两条告警是否同一个系统故障导致的概率。同一个系统故障导致的概率。同一个系统故障导致的概率。

【技术实现步骤摘要】
一种自适应的基于知识图谱的告警聚合方法


[0001]本专利技术涉及异常检测方法和系统领域，具体是指一种自适应的基于知识图谱的告警聚合方法。

技术介绍

[0002]告警是工程师为了保证IT服务质量通过在搜集的各种各样的监控数据(指标，日志等)设置的一系列专家规则触发产生的数据。当告警发生时，运维工程师会去核查每一条告警数据去确认系统是否发生以及发生了什么故障。由于在线系统的体量和复杂性，发生故障是不可避免的，并且，由于系统组件复杂的依赖关系以及不同监控系统之间存在冗余监控，一旦系统的某个组件发生故障会触发连锁反应导致系统多个组件发生问题，并且同一问题可能会触发多个监控系统产生告警，进而会在短时间内触发海量告警，称为告警风暴。所以，通过手工审查每一条告警的方式去诊断故障是非常耗时且低效的。
[0003]现有技术方案有如下缺点：
[0004](1)需要人工去梳理和维护告警的收敛规则
[0005](2)收敛规则的确定依赖于专家经验，本身可能不准确，并且在系统更新后可能不适用了。
[0006](3)当系统引入新的告警规则(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应的基于知识图谱的告警聚合方法，其特征在于，包括训练过程和实时告警，所述训练过程我们利用CMDB数据构建软硬件知识图谱，软硬件知识图谱的节点有系统、部署单元、主机实例组、软件、虚拟机、物理机、接入交换机、核心交换机、汇聚交换机、路由器等，软硬件知识图谱的边关系有构成、调用、逻辑连接、汇聚、承载、宿主和物理连接；利用历史告警数据用DBSCAN和PCMCI算法挖掘告警知识图谱，告警知识图谱的节点是告警分类，实时告警聚类时我们利用告警在软硬件知识图谱上和告警知识图谱上的拓扑关系和时间维度上的关系来计算两条告警是否同一个系统故障导致的概率，基于这个概率我们进行有效的告警收敛，精确地将属于同一故障的告警都聚为了一个故障对象，具体步骤：(1)训练，用CMDB数据梳理构建软硬件知识图谱，具体是简单的通过人工加脚本的方式进行，在这里不进行赘述，告警可以通过告警的IP字段或者hostname字段唯一映射到CMDB的节点上，软硬件知识图谱是一个有向图；(2)告警，用历史告警数据通过聚类和聚类算法挖掘告警类别知识图谱，告警知识图谱是一个有向图。2.根据权利要求1所述的一种自适应的基于知识图谱的告警聚合方法，其特征在于：所述步骤(2)包括以下几个步骤；a、确定告警类别，告警基本是通过运维工程师设置的一些检测规则产生的，所以每一条告警实例都关联到对应的告警规则，一般总的告警规则会在几千条左右，告警规则的含义一般都比较明确，所以我们用告警规则作为告警类别，即一条告警实例会对应一个告警类别；将告警类别排序，得到告警类别序列，L＝[类别1，类别2，...,类别N]；b、生成告警特征样本，用历史一个月以上的告警数据构建告警类别的特征样本，具体是，确定时间窗口大小(默认值5分钟)，将历史告警数据按照时序每五分钟切分为一个样本(这里的样本是告警实例的集合)，然后将样本中的告警实例映射为上一步得到的告警类别，最后得到每一个告警类别在这个时间窗口是否出现的0，1向量，例，l1＝[0,1,...,0],l1的长度和L的长度相等，0表示对应的告警类别在这个样本中没有对应的告警实例，1反之，然后，将这些向量按照时序堆叠得到M*N的实数矩阵就是告警特征样本，其中第一列为类别1的特征向量，第二列为类别2的特征向量，以此类推可以得到每一个告警类别的特征向量；c、告警类别聚类；首先用密度聚类算法DBSCAN通过特征向量和jacard系数将告警类别聚为若干类，其中jacard系数是距离度量方法，衡量的是两种告警类别一起发生的概率，通过...

【专利技术属性】
技术研发人员：沈国鹏，朱品燕，
申请(专利权)人：北京云集智造科技有限公司，
类型：发明
国别省市：