基于注意力和Bi-LSTM的日志异常检测方法和系统技术方案

本发明专利技术提供一种基于注意力和Bi‑LSTM的日志异常检测方法及系统，该方法通过将半结构化的原始日志数据，通过日志解析器Drain转化为结构化的日志数据获得日志模板，并提取日志序列；通过BERT预训练模型将日志模板转化为日志模板初始语义向量；计算日志模板事件的逆频率，与日志模板初始语义向量进行加权计算，得到最终的日志模板语义向量；对日志序列进行特征向量化，得到日志序列的特征向量；将日志序列的特征向量输入基于注意力和双向长短期记忆网络Bi‑LSTM的日志异常检测模型即Atten‑BiLSTM模型中进行训练；使用训练后的Atten‑BiLSTM模型进行异常检测，得到检测结果；本发明专利技术能够更好的学习不同日志事件的重要性，可以处理不稳定的日志序列，能够提高日志的异常检测精度。

【技术实现步骤摘要】

本专利技术涉及一种基于注意力和bi-lstm的日志异常检测方法和系统，属于日志异常检测。

技术介绍

1、现代网络设备、系统及服务程序等在运行过程中会产生具有记载系统状态和事件信息的日志记录，通过基于日志的异常检测方法可以及时检查出系统中的异常或故障以及系统受到攻击时攻击者留下的痕迹，从而保证系统的可靠性和稳定性。因此，日志文件在多个方面都扮演着重要角色，可以提供对系统的全面了解和深入分析，帮助管理员实时监测系统运行情况、快速排查故障、优化系统性能并保障软件安全。

2、早期的日志分析方法主要是基于日志结构的规则匹配，但随着服务器系统的大规模发展，日志数据量越发庞大，数据越发复杂，人工智能技术逐渐运用于数据领域，通过机器学习、深度学习等算法自动地从海量运维数据中学习并总结规则，实现了日志异常检测的自动化。

3、现有的基于日志异常检测的方法通常都包含日志收集、日志解析、特征提取和异常检测四个步骤；日志收集：从网络设备、系统及服务程序等软硬件中获取生成的相关日志；日志解析：从收集的日志数据中提取已知日志事件和日志序列来构建检测模型，是一个将本文档来自技高网...

【技术保护点】

1.一种基于注意力和Bi-LSTM的日志异常检测方法，其特征在于：包括以下步骤，

2.如权利要求1所述的基于注意力和Bi-LSTM的日志异常检测方法，其特征在于：步骤S1中，提取日志序列，具体为，

3.如权利要求1所述的基于注意力和Bi-LSTM的日志异常检测方法，其特征在于：步骤S2中，通过BERT预训练模型将日志模板转化为日志模板初始语义向量，具体为，对输入的日志模板，BERT预训练模型分别通过掩码语言建模和下句预测模型进行训练后得到日志模板初始语义向量。

4.如权利要求1-3任一项所述的基于注意力和Bi-LSTM的日志异常检测方法，其特征在于：步...

【技术特征摘要】

1.一种基于注意力和bi-lstm的日志异常检测方法，其特征在于：包括以下步骤，

2.如权利要求1所述的基于注意力和bi-lstm的日志异常检测方法，其特征在于：步骤s1中，提取日志序列，具体为，

3.如权利要求1所述的基于注意力和bi-lstm的日志异常检测方法，其特征在于：步骤s2中，通过bert预训练模型将日志模板转化为日志模板初始语义向量，具体为，对输入的日志模板，bert预训练模型分别通过掩码语言建模和下句预测模型进行训练后得到日志模板初始语义向量。

4.如权利要求1-3任一项所述的基于注意力和bi-lstm的日志异常检测方法，其特征在于：步骤s3中，计算日志模板事件的逆频率，与步骤s...

【专利技术属性】
技术研发人员：陈伟，杨文馨，吴礼发，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：