基于深度日志序列分析的系统异常检测方法及系统技术方案

本公开提供了一种基于深度日志序列分析的系统异常检测方法及系统，通过将序列标注模型Bi‑LSTM‑CRF应用到日志路径异常检测中，将正态分布应用到日志参数异常检测中，这使得BiLCN能够自动的学习正常的日志模式，包括日志执行路径以及日志事件的参数，并能准确的将偏离正常模型的日志事件检测出来标记为异常；同时，所述系统还包括日志解析器、特征提取器以及日志路径流模型，通过检测的日志序列构造成日志路径流模型，将异常情况反馈给用户，以便用户及时进行系统诊断，经实验验证，本方法具有较高的准确度和执行效率。

System anomaly detection method and system based on deep log sequence analysis

【技术实现步骤摘要】
基于深度日志序列分析的系统异常检测方法及系统
本公开属于大规模系统日志异常检测
，尤其涉及一种基于深度日志序列分析的系统异常检测方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。系统异常检测是检测系统故障、调试机器性能以及维护系统安全等必不可少的重要任务；随着系统运行中遇到的漏洞以及非法入侵等恶意行为变得多样化，产生的日志数据的种类也越来越多；因此，异常检测也面临着越来越多的挑战。系统日志文件可以从所有的计算机系统中提取，记录了不同时刻系统的运行状态和发生的事件，是故障分析、性能检测、以及进行系统异常检测的重要数据。由于系统差异等原因导致日志多样化，因此在对系统进行异常检测时具有很大的挑战；为了克服这一问题，许多研究者根据不同的系统设计了不同的日志挖掘工具，并使用日志挖掘的方法对系统进行异常检测；虽然基于日志挖掘的方法在对系统异常检测时具有一定的准确性，但是这些方法仅限于特定的场景，而且在进行日志挖掘的过程中还需要掌握大量的专业知识。因此，基于传统的数据挖掘方法在异常检测中不能本文档来自技高网...

【技术保护点】
1.一种基于深度日志序列分析的系统异常检测方法，其特征在于，包括：/n获取日志事件历史数据集，对日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；/n利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；/n利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；/n对解析后的日志事件进行特征提取，从具有同一标号的日志事件中提取全部参数构造参数向量，利用正态分布模型对所述参数向量进行拟合；/n通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；/n根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。/n

【技术特征摘要】
1.一种基于深度日志序列分析的系统异常检测方法，其特征在于，包括：
获取日志事件历史数据集，对日志事件进行解析，根据解析得到的标识符将所述日志事件数据集划分为若干日志序列；
利用所述日志序列作为输入，对Bi-LSTM-CRF模型进行训练；
利用训练好的Bi-LSTM-CRF模型对待检测的日志序列进行路径异常检测；
对解析后的日志事件进行特征提取，从具有同一标号的日志事件中提取全部参数构造参数向量，利用正态分布模型对所述参数向量进行拟合；
通过所述正态分布模型对待测日志序列中的日志事件进行参数异常检测；
根据所述路径异常检测以及参数异常检测结果确定异常发生的位置。


2.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述对日志事件进行解析，利用日志解析器通过读取每行日志事件，从非结构化日志中自动学习事件模板，并将原始日志数据转换为结构化的时序序列；具体的解析过程通过正则表达式对每个日志行进行预处理，分析文本的结构化部分，利用文本挖掘技术提取剩余部分。


3.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述标号是根据解析后的日志事件标识符，将具有同一标志符的日志事件进行唯一标号，利用滑动窗口将标号后的日志事件数据进行分组，得到若干组日志序列。


4.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述路径异常检测过程中，通过训练好的Bi-LSTM-CRF模型，其输入为通过滑动窗口分组后的日志序列，其中Bi-LSTM模型的输入出为下一时刻发生某一日志事件的概率值，所述概率值作为CRF模型的输入，根据所述概率值判断所述日志事件是否异常。


5.如权利要求1所述的一种基于深度日志序列分析的系统异常检测方法，其特征在于，所述特征提取是利用日志解析后的日志事件，根据待检测...

【专利技术属性】
技术研发人员：鲁燃，张林栋，刘培玉，朱振方，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37