一种基于深度学习技术的系统日志异常检测方法及系统技术方案

技术编号:40172626 阅读:31 留言:0更新日期:2024-01-26 23:42
本发明专利技术涉及人工智能的技术领域,公开了一种基于深度学习技术的系统日志异常检测方法及系统,包括以下具体步骤:S1:对训练日志数据集进行模板解析,得到结构化的日志模板数据;S2:构建向量化模型,并将结构化的日志模板数据输入向量化模型进行无监督对比学习训练;S3:通过抽取并关联训练日志数据集的数据中的会话及事件,生成子序列样本数据;S4:根据向量化数据、子序列样本数据,完成子序列相关性模型的建模;S5:训练子序列相关性模型;S6:通过训练好的子序列相关性模型检测日志异常。本发明专利技术解决了现有技术对日志数据间关联性的理解不足的问题,且具有能够高效地检测系统日志中的异常,并且为系统工程师在故障诊断时提供参考的特点。

【技术实现步骤摘要】

本专利技术涉及人工智能,更具体的,涉及一种基于深度学习技术的系统日志异常检测方法及系统


技术介绍

1、在现代计算机系统和网络中,各种设备、应用程序和服务都会生成大量的日志数据。这些日志记录了系统状态、用户操作、错误信息、网络流量等。通过分析这些日志数据,可以帮助管理员和工程师及时发现系统故障、异常行为或安全威胁,从而采取相应的措施,维护系统稳定性和数据安全。随着信息技术的发展,日志数据量不断增大,形成了所谓的“大数据”问题。大规模的日志数据集对异常检测提出了挑战,需要高效的算法和技术来处理和分析。

2、近年来,随着机器学习和深度学习的快速发展,这些技术在日志异常检测中得到了广泛应用。机器学习方法可以学习日志数据的正常模式,从而识别异常行为,而深度学习方法能够自动提取日志数据中的复杂特征和模式,提高异常检测的效果。

3、深度学习是机器学习的一个分支,是一种模仿人类大脑神经网络结构和功能的人工智能技术。它通过多层次的神经网络来自动地从大量数据中学习和提取特征,并用这些特征来解决各种复杂的任务,如图像识别、自然语言处理、语音识别、游戏策本文档来自技高网...

【技术保护点】

1.一种基于深度学习技术的系统日志异常检测方法,其特征在于:包括以下具体步骤:

2.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤S1中,对训练日志数据集进行模板解析,得到结构化的日志模板数据,具体为:使用Drain方法对训练日志数据集的日志进行模板解析:

3.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤S2中,构建包括E5和TextCNN模型的向量化模型,并将结构化的日志模板数据输入向量化模型进行无监督对比学习训练,具体步骤为:

4.根据权利要求1所述的基于深度学习技术的系统日...

【技术特征摘要】

1.一种基于深度学习技术的系统日志异常检测方法,其特征在于:包括以下具体步骤:

2.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤s1中,对训练日志数据集进行模板解析,得到结构化的日志模板数据,具体为:使用drain方法对训练日志数据集的日志进行模板解析:

3.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤s2中,构建包括e5和textcnn模型的向量化模型,并将结构化的日志模板数据输入向量化模型进行无监督对比学习训练,具体步骤为:

4.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤s3中,遍历训练日志数据集,通过抽取并关联训练日志数据集的数据中的会话及事件,生成子序列样本数据,具体步骤为:

5.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,...

【专利技术属性】
技术研发人员:刘兰陈桂铭惠占发周驰宇黄宇凡
申请(专利权)人:广东技术师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1