告警日志数据的处理方法及装置、非易失性存储介质制造方法及图纸

本申请公开了一种告警日志数据的处理方法及装置、非易失性存储介质。其中，该方法包括：获取第一告警日志数据，其中第一告警日志数据包括以下至少之一：基站的告警日志数据，动力环境监控系统的告警日志数据，传输网络的告警日志数据；依据第一预设规则对第一告警日志数据进行分类，得到第二告警日志数据；确定第二预设规则，并依据第二预设规则筛选第二告警日志数据，得到第三告警日志数据；利用第一告警日志数据和第三告警日志数据输出告警因果关系图，依据告警因果关系图确定告警的原因。本申请解决了由于网络拓扑数据缺失和手工对告警日志数据打标签造成的无法正确定位告警原因的技术问题。警原因的技术问题。警原因的技术问题。

【技术实现步骤摘要】
告警日志数据的处理方法及装置、非易失性存储介质


[0001]本申请涉及大数据处理分析领域，具体而言，涉及一种告警日志数据的处理方法及装置、非易失性存储介质。

技术介绍

[0002]运营商的网络庞大，包含了大量不同功能、不同业务域、不同厂商、不同型号的设备；各运营商网络的组网协议、拓扑形态不一样，各设备数据格式、传输协议、对网络状况的响应也不相同。在网络实施、业务编排、可用性保障、安全保障等与网络运维相关事项中，故障处理，告警分析是保障网络业务持续可用非常重要的一环，是网络运维的核心；仅靠人工分析告警确定告警根因过度依赖专家经验，分析历时漫长。现有可选的网络告警根因定位方法主要分两种：一种是使用网络告警日志数据对机器学习分类器(如决策树，支持向量机等)进行有监督训练，再利用模型对实时接受的新告警事件进行分类预测，这种方法较为成熟，但是这种方法的预测值不能体现出告警之间的关联关系，因此预测效果普遍比较差，总体实用性不高。另一种是依靠运营商网络物理拓扑结构关系构建网络告警图数据，训练图神经网络(如Graphsage，GCN，GAT等)，使用训练后的模型对实时出现的告警节点进行告警图节点根因分类，告警根因定位效果相比前一种较好，但是由于运营商网络极其复杂，存在着不同设备厂家，不同部门网络，不同专业网络，网络物理拓扑时长发生改变等特点，导致数据孤岛和拓扑数据不完整问题严重，这种方法难以获取到包含完整的网络拓扑结构的、准确的图数据，因此泛化性差，降低了实用性；此外，这两种方法都需要运维专家手工对网络告警日志数据逐条打标，费时费力且难以达到理想效果。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种告警日志数据的处理方法及装置、非易失性存储介质，以至少解决由于网络拓扑数据缺失和手工对告警日志数据打标签造成的无法正确定位告警原因的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种告警日志数据的处理方法，包括：获取第一告警日志数据，其中第一告警日志数据包括以下至少之一：基站的告警日志数据，动力环境监控系统的告警日志数据，传输网络的告警日志数据；依据第一预设规则对第一告警日志数据进行分类，得到第二告警日志数据；确定第二预设规则，并依据第二预设规则筛选第二告警日志数据，得到第三告警日志数据；利用第一告警日志数据和第三告警日志数据输出告警因果关系图，依据告警因果关系图确定告警的原因。
[0006]可选地，依据第一预设规则对第一告警日志数据进行分类得到第二告警日志数据，包括：将第一告警日志数据中告警设备标识字段和告警类型字段进行拼接得到第一字段；对第一告警日志数据按照产生的时间排序；设置第一时间区间，其中，排序后的第一告警日志数据包括多个第一时间区间；根据第一时间区间内的多个第一字段组成第二告警日
志数据。
[0007]可选地，依据第一预设规则对第一告警日志数据进行分类得到第二告警日志数据之前还包括：确定第一预设规则，第一预设规则包括以下至少之一：告警类型为闪断告警，告警类型为重复告警，或者告警类型为远端告警；清理掉第二告警日志数据中告警类型是闪断告警或者重复告警或者远端告警的字段。
[0008]可选地，确定第二预设规则，并依据第二预设规则筛选第二告警日志数据得到第三告警日志数据包括：设置第一超参数和第二超参数，第一超参数和第二超参数表示告警设备标识和告警类型的关联关系；通过第一预设算法分别计算第二告警日志数据中多个第一字段的第三超参数和第四超参数；如果第三超参数大于或者等于第一超参数且第四超参数大于或者等于第二超参数，保留第一字段；如果第三超参数小于第一超参数或者第四超参数小于第二超参数，删除第一字段；根据多个保留的第一字段组成第三告警日志数据。
[0009]可选地，利用第一告警日志数据和第三告警日志数据输出告警因果关系图包括：将第三告警日志数据中的第一字段确定为告警因果关系图的节点；将连接节点的连线确定为告警因果关系图的无向边，取第四超参数的最大数值为告警因果关系图的无向边的权重；通过告警因果关系图的节点和告警因果关系图的无向边的权重输出告警因果关系图。
[0010]可选地，依据告警因果关系图确定告警的原因之前还包括：将告警因果关系图转换为邻接矩阵，其中，邻接矩阵的行数与邻接矩阵的列数根据节点确定，邻接矩阵的元素为告警因果关系图的无向边的权重。
[0011]可选地，依据告警因果关系图确定告警的原因包括：通过第二预设算法计算邻接矩阵得到告警因果关系图的有向边；融合通过第三预设算法得出的有向边，将告警因果关系图转换为告警因果关系知识图谱；依据告警因果关系知识图谱反向递归到告警因果关系知识图谱的第一根节点；如果第一告警日志数据中包括第一根节点的告警类型字段，则第一根节点的告警类型为告警的原因；如果第一告警日志数据中不包括第一根节点的告警类型字段，继续反向递归到告警因果关系知识图谱的第二根节点，直至确定告警的原因。
[0012]根据本申请实施例的另一方面，提供了一种告警日志数据的处理装置，该装置包括：获取模块，用于获取第一告警日志数据，其中，第一告警日志数据包括以下至少之一：基站的告警日志数据，动力环境监控系统的告警日志数据，传输网络的告警日志数据；第一分类模块，用于依据第一预设规则对第一告警日志数据进行分类得到第二告警日志数据；第二分类模块，用于确定第二预设规则，并依据第二预设规则筛选第二告警日志数据得到第三告警日志数据；处理模块，用于利用第一告警日志数据和第三告警日志数据输出告警因果关系图确定告警的原因。
[0013]根据本申请实施例还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述任意一种告警日志数据的处理方法。
[0014]根据本申请实施例还提供了一种处理器，该处理器用于运行存储在存储器中的程序，其中，程序运行时执行上述任意一种告警日志数据的处理方法。
[0015]在本申请实施例中，采用获取第一告警日志数据，其中第一告警日志数据包括以下至少之一：基站的告警日志数据，动力环境监控系统的告警日志数据，传输网络的告警日志数据；依据第一预设规则对第一告警日志数据进行分类，得到第二告警日志数据；确定第
二预设规则，并依据第二预设规则筛选第二告警日志数据，得到第三告警日志数据；利用第一告警日志数据和第三告警日志数据输出告警因果关系图，依据告警因果关系图确定告警的原因的方式，通过对采集到的告警日志数据进行处理，将网络告警之间的时域联系转化为空域练习，使用关联分析算法计算得到告警频繁项集构造边，近似出网络告警节点的真实拓扑图，使用基于无监督学习的图因果算法将告警关联无向图还原成带有因果关系的有向图，构建告警因果知识图谱，达到了确定告警的原因的目的，从而实现了在告警日志数据缺失的情况下也能准确定位告警原因的技术效果，进而解决了由于网络拓扑数据缺失和手工对告警日志数据打标签造成的无法正确定位告警原因技术问题。
附图说明<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种告警日志数据的处理方法，其特征在于，包括：获取第一告警日志数据，其中，所述第一告警日志数据包括以下至少之一：基站的告警日志数据，动力环境监控系统的告警日志数据，传输网络的告警日志数据；依据第一预设规则对所述第一告警日志数据进行分类，得到第二告警日志数据；确定第二预设规则，并依据所述第二预设规则筛选所述第二告警日志数据，得到第三告警日志数据；利用所述第一告警日志数据和所述第三告警日志数据输出告警因果关系图，依据所述告警因果关系图确定告警的原因。2.根据权利要求1所述的方法，其特征在于，依据第一预设规则对所述第一告警日志数据进行分类，得到第二告警日志数据，包括：将所述第一告警日志数据中告警设备标识字段和告警类型字段进行拼接，得到第一字段；对所述第一告警日志数据按照产生的时间排序；设置第一时间区间，其中，排序后的所述第一告警日志数据包括多个所述第一时间区间；根据所述第一时间区间内的多个第一字段组成所述第二告警日志数据。3.根据权利要求2所述的方法，其特征在于，依据第一预设规则对所述第一告警日志数据进行分类，得到第二告警日志数据之前，所述方法还包括：确定所述第一预设规则，所述第一预设规则包括以下至少之一：所述告警类型为闪断告警，所述告警类型为重复告警，或者所述告警类型为远端告警；清理掉所述第二告警日志数据中告警类型是所述闪断告警或者所述重复告警或者所述远端告警的字段。4.根据权利要求2所述的方法，其特征在于，确定第二预设规则，并依据所述第二预设规则筛选所述第二告警日志数据，得到第三告警日志数据，包括：设置第一超参数和第二超参数，所述第一超参数和第二超参数表示告警设备标识和告警类型的关联关系；通过第一预设算法分别计算所述第二告警日志数据中多个所述第一字段的第三超参数和第四超参数；如果所述第三超参数大于或者等于所述第一超参数且所述第四超参数大于或者等于所述第二超参数，保留所述第一字段；如果所述第三超参数小于所述第一超参数或者所述第四超参数小于所述第二超参数，删除所述第一字段；根据多个保留的所述第一字段组成所述第三告警日志数据。5.根据权利要求4所述的方法，其特征在于，利用所述第一告警日志数据和所述第三告警日志数据输出告警因果关系图，包括：将所述第三告警日志数据中的第一字...

【专利技术属性】
技术研发人员：张舒朗，郑顺吾，孙迪，巴麒龙，宋泽宇，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：