基于深度日志序列分析的系统异常检测方法及系统技术方案

本公开提供了一种基于深度日志序列分析的系统异常检测方法及系统，通过将序列标注模型Bi‑LSTM‑CRF应用到日志路径异常检测中，将正态分布应用到日志参数异常检测中，这使得BiLCN能够自动的学习正常的日志模式，包括日志执行路径以及日志事件的参数，并能准确的将偏离正常模型的日志事件检测出来标记为异常；同时，所述系统还包括日志解析器、特征提取器以及日志路径流模型，通过检测的日志序列构造成日志路径流模型，将异常情况反馈给用户，以便用户及时进行系统诊断，经实验验证，本方法具有较高的准确度和执行效率。

System anomaly detection method and system based on deep log sequence analysis

【技术实现步骤摘要】
基于深度日志序列分析的系统异常检测方法及系统
本公开属于大规模系统日志异常检测
，尤其涉及一种基于深度日志序列分析的系统异常检测方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。系统异常检测是检测系统故障、调试机器性能以及维护系统安全等必不可少的重要任务；随着系统运行中遇到的漏洞以及非法入侵等恶意行为变得多样化，产生的日志数据的种类也越来越多；因此，异常检测也面临着越来越多的挑战。系统日志文件可以从所有的计算机系统中提取，记录了不同时刻系统的运行状态和发生的事件，是故障分析、性能检测、以及进行系统异常检测的重要数据。由于系统差异等原因导致日志多样化，因此在对系统进行异常检测时具有很大的挑战；为了克服这一问题，许多研究者根据不同的系统设计了不同的日志挖掘工具，并使用日志挖掘的方法对系统进行异常检测；虽然基于日志挖掘的方法在对系统异常检测时具有一定的准确性，但是这些方法仅限于特定的场景，而且在进行日志挖掘的过程中还需要掌握大量的专业知识。因此，基于传统的数据挖掘方法在异常检测中不能发挥更好的效果。专利技术人发现，现有技术中，对系统日志进行异常检测的方法主要使用两个数据处理：日志解析和特征提取，原始的日志事件通过日志解析器转化为时序化的日志序列，特征提取每一类日志事件中的参数并构建为一个参数向量，运用自然语言处理的知识，通过将注意力机制纳入到RNN语言模型中来对系统进行异常检测，虽然该方法对系统异常检测有一定的效果，但是无法有效的解决不同系统间的异常检测问题。
技术实现思路
本公开为了解决上述问题，提供一种基于深度日志序列分析的系统异常检测方法及系统，根据不同系统之间的日志信息，通过日志解析器、特征提取器进行日志数据的转换和处理，将日志信息转化为日志序列；然后将日志序列输入到有双向长短时记忆网络以及条件随机场组成的模型中进行训练和检测；并将日志信息中的参数输入到高斯分布模型进行训练，来获取合适的阈值；最后将检测完成的日志序列构建为日志路径流模型，以便于及时将异常情况反馈给用。根据本公开实施例的第一个方面，提供了一种基于深度日志序列分析的系统异常检测方法，包括：获取日志事件历史数据集，对日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；对解析后的日志事件进行特征提取，从具有同一标识符的日志事件中提取全部参数构造参数向量，利用正态分布模型对所述参数向量进行拟合；通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。根据本公开实施例的第二个方面，提供了一种基于深度日志序列分析的系统异常检测系统，包括：数据预处理模块，用于获取日志事件历史数据集，对每个日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；以及对解析后的日志事件进行特征提取，从具有同一标识符的日志事件中提取全部参数构造参数向量；模型训练模块，用于利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；以及利用正态分布模型对所述参数向量进行拟合；路径异常检测模块，用于利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；参数异常检测模块，用于通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；故障诊断模块，用于根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于深度日志序列分析的系统异常检测方法。根据本公开实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于深度日志序列分析的系统异常检测方法。与现有技术相比，本公开的有益效果是：(1)本公开提出了一个由双向长短时记忆网络(Bi-LSTM)、条件随机场(CRF)以及正态分布(ND)等组合的深度日志序列分析的系统异常检测框架(BiLCN)，该框架将序列标注模型Bi-LSTM-CRF应用到日志路径异常检测中，将正态分布应用到日志参数异常检测中，使得BiLCN能够自动的学习正常的日志模式，包括日志执行路径以及日志事件的参数，并能准确的将偏离正常模型的日志事件检测出来标记为异常。(2)此外，本公开所述方案通过将检测的日志序列构造成日志路径流模型，将异常情况反馈给用户，以便用户及时进行系统诊断，提高了大型系统异常检测的准确度。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请并不构成对本申请的不当限定。图1是本公开实施例一所述的深度日志序列异常检测框架BiLCN示意图；图2是本公开实施例一所述的日志路径检测模型Bi-LSTM-CRF的执行过程示意图；图3是本公开实施例一所述的日志路径流模型图；图4是本公开实施例一所述的异常诊断过程示意图。具体实施方式下面结合附图与实施例对本公开作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一：本实施例的目的是提供一种基于深度日志序列分析的系统异常检测方法。如图1所示，在本实施例中，提供了一种基于深度日志序列分析的系统异常检测方法，包括：获取日志事件历史数据集，对日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；对解析后的日志事件进行特征提取，从具有同一标识符的日志事件中提取全部参数构造参数向量，利用正态分布模型对所述参数向量进行拟合；通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。在本实施例中，所述方法以HDFS系统产生的日志信息为实验对象，结合BiLCN系统异常检测框架，所述框架主要包括了五本文档来自技高网...

【技术保护点】
1.一种基于深度日志序列分析的系统异常检测方法，其特征在于，包括：/n获取日志事件历史数据集，对日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；/n利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；/n利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；/n对解析后的日志事件进行特征提取，从具有同一标号的日志事件中提取全部参数构造参数向量，利用正态分布模型对所述参数向量进行拟合；/n通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；/n根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。/n

【技术特征摘要】
1.一种基于深度日志序列分析的系统异常检测方法，其特征在于，包括：
获取日志事件历史数据集，对日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；
利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；
利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；
对解析后的日志事件进行特征提取，从具有同一标号的日志事件中提取全部参数构造参数向量，利用正态分布模型对所述参数向量进行拟合；
通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；
根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。


2.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述对日志事件进行解析，利用日志解析器通过读取每行日志事件，从非结构化日志中自动学习事件模板，并将原始日志数据转换为结构化的时序序列；具体的解析过程通过正则表达式对每个日志行进行预处理，分析文本的结构化部分，利用文本挖掘技术提取剩余部分。


3.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述标号是根据解析后的日志事件标识符，将具有同一标志符的日志事件进行唯一标号，利用滑动窗口将标号后的日志事件数据进行分组，得到若干组日志序列。


4.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述路径异常检测过程中，通过训练好的Bi-LSTM-CRF模型，其输入为通过滑动窗口分组后的日志序列，其中Bi-LSTM模型的输入出为下一时刻发生某一日志事件的概率值，所述概率值作为CRF模型的输入，根据所述概率值判断所述日志事件是否异常。


5.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述特征提取是利用日志解析后的日志事件，根据待检测...

【专利技术属性】
技术研发人员：鲁燃，张林栋，刘培玉，朱振方，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37