一种基于机器学习的告警日志与故障规则提取方法技术

本发明专利技术公开了一种光通信网络中的网管系统的告警日志与设备故障的规则提取方法。通过对历史告警日志采用基于固定序列元素个数的滑动窗口机制实现告警日志子集划分；对日志子集序列定义多维特征以充分利用日志信息；基于权重随机森立算法实现特征选择，采用采样技术和添加高斯噪声的手段实现数据平衡处理；最后训练多个具有较少节点的决策树模型，选择对特定类型故障分类准确性最高的决策树，进行规则提取。该方法实现了从大量告警日志中自动学习日志特征与故障的决策规则，并在具有较高准确率的前提下满足决策的可解释性要求。在实施案例中能够提取出质量较高的决策规则，从而为告警日志数据的智能分析以及智能运维提供了一种新的方法。种新的方法。种新的方法。

【技术实现步骤摘要】
一种基于机器学习的告警日志与故障规则提取方法


[0001]本专利技术涉及了一种光通信网络中的网管系统产生的告警日志与设备故障的规则提取方法。当光通信网络在运行过程中出现异常状态时，网管系统上报相关联的告警日志，运维人员通过告警信息判断设备及网络的状态。本专利技术针对告警数据的人工分析方法需要耗费大量时间，难以定位设备故障及告警根因分析效率低下的问题，提出了一种基于机器学习的告警日志多维特征与设备故障、告警根因的决策规则提取方法，该方法从含有类别属性信息的历史告警日志数据中自动学习日志特征与告警根因的对应关系，从而为光通信网络的维护提供参考依据，同时也为光通信网络及设备的智能运维提供了一种新的方法。

技术介绍

[0002]基于日志的数据智能处理与分析方法是智能运维技术的重要部分。在光通信网络告警日志分析与处理中，大多数方法是对告警日志所组成的序列进行关联规则或序列模式挖掘，即采用不同的算法从大规模告警日志中发现频繁的、有意义的序列模式，亦或是对告警序列进行压缩或预测，以减少需要分析的告警数量，提高人工分析的效率。
[0003]LogClu本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明所公开的一种基于机器学习的告警日志与故障规则提取方法，其特征在于包括以下步骤：步骤1：历史告警日志子集的划分；步骤2：日志子集的多维特征构建与特征选择；步骤3：类别样本点的平衡处理与特定故障类型的训练样本集构建；步骤4：基于特征组合的决策树节点确定；步骤5：特定故障类型的决策规则提取。2.根据权力要求1所述的方法，步骤1的特征在于，采用固定序列长度的滑动窗口机制对原始告警日志进行划分，使得划分后的告警日志子集具有相同的告警数量，其中滑动窗口的长度和步长根据历史告警数据中故障持续时间内告警的平均统计值和其他统计特征确定。3.根据权力要求1
‑
2所述的方法，步骤2的特征在于，根据告警日志的属性信息，所构建的告警日志子集的多维特征包括：告警类型总数量、紧急告警比例、重要告警比例、次要告警比例、时间跨度、告警平均持续时间6个特征及其向量化表示，并且包括这些特征的组合特征。4.根据权力要求1所述的方法，步骤2中的特征在于，采用权重随机森林进行特征选择，即将日志特征的向量化表示加上类别标签(包括正常类和故障类两大类)后，作为权重随机森林模型的输入，通过调整两种类别的惩罚权重获得较高的准确率，并量化评估每个特征对分类的贡献度，将分类贡献度较小的特征剔除，剔除的原则包括限定特征个数或低于设定阈值，得到故障状态关键特征集。5.根据权力要求1所述的方法，步骤3中各个样本点的平衡处理具...

【专利技术属性】
技术研发人员：张翼英，王鹏凯，柳依阳，王德龙，马彩霞，周保先，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：