一种日志异常检测系统与方法技术方案

本公开是关于一种日志异常检测系统与方法。该方法包括以下步骤：历史日志数据收集处理；使用XLNet模型和自编码器将所述历史日志中的语义特征转化为历史特征向量，并按比例分为训练集和测试集；基于所述训练集和测试集对CNN模型进行训练测试；将所述新日志样本的语义特征转化为新特征向量，计算所述历史特征向量与所述新特征向量的余弦距离，通过所述CNN模型判断日志类型和风险等级；所述语义特征包括日志文本内容和日志返回时间。本公开旨在能够便捷、准确的对新日志样本的异常进行检测，将日志返回时间和日志文本内容一同纳入到日志异常检测模型中，提高了日志异常检测的精度。

【技术实现步骤摘要】

本公开涉及日志异常检测，尤其涉及一种日志异常检测系统与方法。

技术介绍

1、日志异常检测是一种通过智能化手段分析系统运行时产生的日志数据以自动化地发现日志异常的技术。这种技术正随着智能运维(aiops)的快速发展而成为学术界和工业界的研究热点。日志异常检测的核心是借助ai算法自动分析网络设备日志来发现并定位故障，根据送入检测模型的数据格式，可将日志异常检测算法模型分为序列模型和频率模型，其中序列模型又可以分为深度模型和聚类模型。

2、对于新日志样本的检测，部分现有技术需要人工花费大量的时间对日志类型进行判断，且仅依据日志文本内容进行异常检测，检测精度低。因此，有必要改善上述相关技术方案中存在的一个或者多个问题，以进一步提高日志异常检测的效率以及精度。

3、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开实施例的目的在于提供一种日志异常检测方法，以提高日志异常检测的效率以及精度本文档来自技高网...

【技术保护点】

1.一种日志异常检测方法，其特征在于，包括：

2.根据权利要求1所述的检测方法，其特征在于，所述使用XLNet模型和自编码器将所述历史日志中的语义特征转化为历史特征向量，具体步骤如下：

3.根据权利要求1所述的检测方法，其特征在于，所述CNN模型网络共有两层隐含层，所述CNN模型网络的信息传递过程的如下：

4.根据权利要求1所述的检测方法，其特征在于，通过所述XLNet模型和自编码器将所述历史日志的语义特征转化为所述历史特征向量，获得的所述历史日志特征向量及其类型的数据集上传至Milvus向量数据库；

5.根据权利要求4所述的检测方法，其特...

【技术特征摘要】

1.一种日志异常检测方法，其特征在于，包括：

2.根据权利要求1所述的检测方法，其特征在于，所述使用xlnet模型和自编码器将所述历史日志中的语义特征转化为历史特征向量，具体步骤如下：

3.根据权利要求1所述的检测方法，其特征在于，所述cnn模型网络共有两层隐含层，所述cnn模型网络的信息传递过程的如下：

4.根据权利要求1所述的检测方法，其特征在于，通过所述xlnet模型和自编码器将所述历史日志的语义特征转化为所述历史特征向量，获得的所述历史日志特征向量及其类型的数据集上传至milvus向量数据库；

5.根据权利要求4所述的检测方法，其特征在于，所述新日志样本的异常检测的步骤中，调用milvus向量数据库内的所述历史特征向量和所述新日志样本，当所述新特征向量与某一个所述历史特征向量的余弦距离小于设定值时，通过训练好的所述cnn模型输出所述新日志样本的日志类型，计算新日志样本的风险等...

【专利技术属性】
技术研发人员：邱博之，孙姣，李莹，唐嘉禄，王建元，
申请(专利权)人：西安黄河机电有限公司，
类型：发明
国别省市：