基于深度强化学习的实时日志异常检测方法技术

技术编号:42873000 阅读:64 留言:0更新日期:2024-09-27 17:33
本发明专利技术提供了一种基于深度强化学习的实时日志异常检测方法,包括以下步骤:步骤S1:通过正则表达式将日志数据集中每条日志的参数进行替换得到日志文本,并提取数值型参数;步骤S2:将替换后的日志文本转化为语义向量,将数值型参数转化为数值参数向量,将语义向量和数值型参数向量进行拼接得到状态向量;步骤S3:将每条特征向量作为一种状态,所有进行替换后的日志作为动作集合,对深度Q网络进行训练;步骤S4:采用训练后的深度Q网络进行日志异常监测,得到日志异常监测结果。不仅可以提升日志分析的效果和准确性,而且帮助用户更好地理解和管理系统。

【技术实现步骤摘要】

本专利技术涉及日志异常检测,具体涉及一种基于深度强化学习的实时日志异常检测方法


技术介绍

1、随着信息技术的革新和现代计算机系统的广泛应用,各种安全威胁和攻击手段也不断演变和增强,确保系统安全性和可靠性成为至关重要的任务。异常检测是大规模系统事件管理的重要手段,其目的是及时发现系统的异常行为。目前几乎所有现代计算机系统中都具有日志模块,系统日志详细记录了系统运行时信息,支持各种系统管理和诊断任务,例如确保应用程序安全性、识别性能异常、诊断错误和崩溃等。与系统异常行为相关的日志往往存在固定模式,可以用来诊断系统问题的来源,以及预测潜在的系统问题。因此,在许多系统的开发和维护过程中,系统日志被广泛用作异常检测的数据源。

2、现有的日志异常检测方法通常可以分为三种:基于规则的日志异常检测方法、基于机器学习的日志异常检测方法以及基于深度学习的日志异常检测方法。

3、然而,基于规则的方法严重依赖于专家的领域知识,需要手动定义静态规则集,缺乏自适应性和泛化能力。随着系统和日志数据的变化,规则的维护和更新也变得复杂和耗时,难以应对复杂的异常模式本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的实时日志异常检测方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种基于深度强化学习的实时日志异常检测方法,其特征在于:所述日志文本中剔除时间戳数据,所述数值型参数中包括时间戳间隔数据。

3.根据权利要求1所述的一种基于深度强化学习的实时日志异常检测方法,其特征在于:步骤S2中将替换后的日志文本转化为语义向量的表达式为:

4.根据权利要求1所述的一种基于深度强化学习的实时日志异常检测方法,其特征在于:所述深度Q网络包括经验池、当前值网络、目标值网络和针对不同状态进行动作的智能体,采用经验回放技术对所述智能体进行更新。...

【技术特征摘要】

1.一种基于深度强化学习的实时日志异常检测方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种基于深度强化学习的实时日志异常检测方法,其特征在于:所述日志文本中剔除时间戳数据,所述数值型参数中包括时间戳间隔数据。

3.根据权利要求1所述的一种基于深度强化学习的实时日志异常检测方法,其特征在于:步骤s2中将替换后的日志文本转化为语义向量的表达式为:

4.根据权利要求1所述的一种基于深度强化学习的实时日志异常检测方法,其特征在于:所述深度q网络包括经验池、当前值网络、目标值网络和针对不同状态进行动作的智能体,采用经验回放技术对所述智能体进行更新。

5.根据权利要求4所述的一种基于深度强化学习的实时日志异常检测方...

【专利技术属性】
技术研发人员:周俊伟王春龙喻向天高钰杨向剑文杨焱超
申请(专利权)人:武汉理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1