一种基于时空分析日志的故障定因方法和系统技术方案

本发明专利技术公开了一种基于时空分析日志的故障定因方法和系统，方法包括：步骤1)采集网络系统中所有网络设备产生的syslog日志；步骤2)针对网络中所有设备产生的syslog日志进行监控并且周期性实时的对日志基于时间空间进行特征分析；步骤3)对网络设备的运行状态进行基于时间的特征提取并分析，排查网络设备的隐患和故障时间点；步骤4)获取空间拓扑信息；步骤5)联合空间拓扑信息提取相关设备日志构建异常事件的特征矩阵；步骤6)通过智能决策算法得到故障传播链以及根因，展现故障影响面以及根因详细信息。

A fault cause determination method and system based on spatiotemporal analysis log

【技术实现步骤摘要】
一种基于时空分析日志的故障定因方法和系统
本专利技术属于一种基于时空分析日志的故障定因方法和系统
技术介绍
现有故障定因系统的处理方法一般是对各个指标进行统计和编排，并不会对设备产生的日志进行特征和内容的分析。缺点1：网络设备运行维护的故障定因需要有经验的专家人士完成，对人员的依赖较大。缺点2：故障根因定位困难，故障解决时间长，影响用户体验。缺陷3：现有网管系统可视性较差，管理效率低，不能针对海量设备进行管理。伴随5G网络的到来，IP网络设备将会越来越多，网络配置也会变得越来越复杂，将会给网络运维带来巨大的挑战。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于时空分析日志的故障定因方法和系统，用以解决现有技术存在的问题。本专利技术解决上述技术问题所采取的技术方案如下：一种基于时空分析日志的故障定因方法，包括：步骤1)采集网络系统中所有网络设备产生的syslog日志；步骤2)针对网络中所有设备产生的syslog日志进行监控并且周期性实时的对日志基于时间空间进行特征分析；步骤3)对网络设备的运行状态进行基于时间的特征提取并分析，排查网络设备的隐患和故障时间点；步骤4)获取空间拓扑信息；步骤5)联合空间拓扑信息提取相关设备日志构建异常事件的特征矩阵；步骤6)通过智能决策算法得到故障传播链以及根因，展现故障影响面以及根因详细信息。优选的是，步骤1)中，具体包括：对网络设备日志进行固定时间粒度采集，包括分析目标网络中的所有设备，同时获取的日志为全量数据，所有数据统一采集存储至大数据孵化平台的存储单元。优选的是，步骤2)中，具体包括：对每台设备的日志都进行相同时间粒度的实时多维度统计分析，其中维度包括总量、成分量、不同成分的量；通过对设备正常运行时的日志进行学习，得到设备正常运行时不同维度统计的日志基线特征；对设备日志进行固定周期的采集监控，当监控值脱离基线值超过阈值时，则认为在这个时间点检测到了一个日志异常事件，这里的阈值是通过算法学习到的一个具有一定置信度的动态值。优选的是，步骤3)中，具体包括：取设备在异常时间点周围的日志数据，并且将日志的多维统计特征值进行格式化整理，构成这台设备在异常时间点的异常事件特征向量。优选的是，步骤4)中，具体包括：使用网络中的常用协议信息来构建空间拓扑结构；在异常时间点对拓扑相关的设备进行异常日志提取，并按照统计特征值进行格式化整理，这些特征向量拼在一起构成了异常时间点的异常事件的特征矩阵。优选的是，步骤5)中，具体包括：通过对单台设备分别提取异常时间点日志特征向量，结合网络的空间拓扑信息，将关联设备的异常日志特征向量拼接，构成网络异常事件的特征矩阵；通过对不同场景异常故障日志的统计、积累和提取异常事件特征矩阵，并且有监督的对每一类网络异常事件进行关联算法模型训练，得到异常日志特征矩阵和异常根因的关联关系。优选的是，步骤6)中，具体包括：通过逻辑算法分析特征矩阵，得到异常事件的传播路径，定界到异常故障的根因设备，进一步对根因设备的异常该日志特征向量算法分析，可以得到故障根因信息；通过界面视图，将分析出的异常事件的故障传播链以及影响面通过简单的拓扑结构呈现出来，同时将故障根因分级别显示。一种基于时空分析日志的故障定因系统，包括：Syslog采集单元、实时日志异常检测单元、异常日志特征提取单元、空间拓扑发现单元、关联分析单元和故障定因单元；所述Syslog采集单元，用于采集网络系统中所有网络设备产生的syslog日志；所述实时日志异常检测单元，用于针对网络中所有设备产生的syslog日志进行监控并且周期性实时的对日志基于时间空间进行特征分析；所述异常日志特征提取单元，用于对网络设备的运行状态进行基于时间的特征提取并分析，排查网络设备的隐患和故障时间点；所述空间拓扑发现单元，用于获取空间拓扑信息；所述关联分析单元，用于联合空间拓扑信息提取相关设备日志构建异常事件的特征矩阵；所述故障定因单元，用于通过智能决策算法得到故障传播链以及根因，展现故障影响面以及根因详细信息。优选的是，所述Syslog采集单元，进一步用于：对网络设备日志进行固定时间粒度采集，包括分析目标网络中的所有设备，同时获取的日志为全量数据，所有数据统一采集存储至大数据孵化平台的存储单元。优选的是，所述异常日志特征提取单元，进一步用于：对每台设备的日志都进行相同时间粒度的实时多维度统计分析，其中维度包括总量、成分量、不同成分的量；通过对设备正常运行时的日志进行学习，得到设备正常运行时不同维度统计的日志基线特征；对设备日志进行固定周期的采集监控，当监控值脱离基线值超过阈值时，则认为在这个时间点检测到了一个日志异常事件，这里的阈值是通过算法学习到的一个具有一定置信度的动态值。对每台设备的日志都进行相同时间粒度的实时多维度统计分析，其中维度包括总量、成分量、不同成分的量；通过对设备正常运行时的日志进行学习，得到设备正常运行时不同维度统计的日志基线特征；对设备日志进行固定周期的采集监控，当监控值脱离基线值超过阈值时，则认为在这个时间点检测到了一个日志异常事件，这里的阈值是通过算法学习到的一个具有一定置信度的动态值。本专利技术是通过人工智能的方法，针对网络中所有设备产生的syslog日志进行监控并且周期性实时的对日志基于时间空间进行特征分析。由计算机代替人力，对网络设备的运行状态进行基于时间的特征提取并分析，排查网络设备的隐患和故障时间点；联合空间拓扑信息提取相关设备日志构建异常事件的特征矩阵，通过智能决策算法得到故障传播链以及根因，最终通过界面视图呈现的方式展现故障影响面以及根因详细信息，达到智能、高效、精准运维的目的。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。附图说明下面结合附图对本专利技术进行详细的描述，以使得本专利技术的上述优点更加明确。其中，图1是本专利技术基于时空分析日志的故障定因方法的流程示意图；图2是本专利技术基于时空分析日志的故障定因方法实施例中的网络日志的示意图；图3是本专利技术基于时空分析日志的故障定因方法实施例中的空间拓扑的示意图；图4是本专利技术基于时空分析日志的故障定因方法实施例中空间拓扑发现的示意图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发本文档来自技高网...

【技术保护点】
1.一种基于时空分析日志的故障定因方法，其特征在于，包括：/n步骤1)采集网络系统中所有网络设备产生的syslog日志；/n步骤2)针对网络中所有设备产生的syslog日志进行监控并且周期性实时的对日志基于时间空间进行特征分析；/n步骤3)对网络设备的运行状态进行基于时间的特征提取并分析，排查网络设备的隐患和故障时间点；/n步骤4)获取空间拓扑信息；/n步骤5)联合空间拓扑信息提取相关设备日志构建异常事件的特征矩阵；/n步骤6)通过智能决策算法得到故障传播链以及根因，展现故障影响面以及根因详细信息。/n

【技术特征摘要】
1.一种基于时空分析日志的故障定因方法，其特征在于，包括：
步骤1)采集网络系统中所有网络设备产生的syslog日志；
步骤2)针对网络中所有设备产生的syslog日志进行监控并且周期性实时的对日志基于时间空间进行特征分析；
步骤3)对网络设备的运行状态进行基于时间的特征提取并分析，排查网络设备的隐患和故障时间点；
步骤4)获取空间拓扑信息；
步骤5)联合空间拓扑信息提取相关设备日志构建异常事件的特征矩阵；
步骤6)通过智能决策算法得到故障传播链以及根因，展现故障影响面以及根因详细信息。


2.根据权利要求1所述的基于时空分析日志的故障定因方法，其特征在于，步骤1)中，具体包括：
对网络设备日志进行固定时间粒度采集，包括分析目标网络中的所有设备，同时获取的日志为全量数据，所有数据统一采集存储至大数据孵化平台的存储单元。


3.根据权利要求1所述的基于时空分析日志的故障定因方法，其特征在于，步骤2)中，具体包括：
对每台设备的日志都进行相同时间粒度的实时多维度统计分析，其中维度包括总量、成分量、不同成分的量；
通过对设备正常运行时的日志进行学习，得到设备正常运行时不同维度统计的日志基线特征；
对设备日志进行固定周期的采集监控，当监控值脱离基线值超过阈值时，则认为在这个时间点检测到了一个日志异常事件，这里的阈值是通过算法学习到的一个具有一定置信度的动态值。


4.根据权利要求1所述的基于时空分析日志的故障定因方法，其特征在于，步骤3)中，具体包括：
取设备在异常时间点周围的日志数据，并且将日志的多维统计特征值进行格式化整理，构成这台设备在异常时间点的异常事件特征向量。


5.根据权利要求1所述的基于时空分析日志的故障定因方法，其特征在于，步骤4)中，具体包括：
使用网络中的常用协议信息来构建空间拓扑结构；
在异常时间点对拓扑相关的设备进行异常日志提取，并按照统计特征值进行格式化整理，这些特征向量拼在一起构成了异常时间点的异常事件的特征矩阵。


6.根据权利要求5所述的基于时空分析日志的故障定因方法，其特征在于，步骤5)中，具体包括：
通过对单台设备分别提取异常时间点日志特征向量，结合网络的空间拓扑信息，将关联设备的异常日志特征向量拼接，构成网络异常事件的特征矩阵；
通过对不...

【专利技术属性】
技术研发人员：叶晓斌，马丹丹，刘惜吾，姚丽红，黎宇，王立俊，
申请(专利权)人：叶晓斌，马丹丹，刘惜吾，姚丽红，黎宇，王立俊，
类型：发明
国别省市：广东;44