【技术实现步骤摘要】
本专利技术涉及人工智能,更具体的,涉及一种基于深度学习技术的系统日志异常检测方法及系统。
技术介绍
1、在现代计算机系统和网络中,各种设备、应用程序和服务都会生成大量的日志数据。这些日志记录了系统状态、用户操作、错误信息、网络流量等。通过分析这些日志数据,可以帮助管理员和工程师及时发现系统故障、异常行为或安全威胁,从而采取相应的措施,维护系统稳定性和数据安全。随着信息技术的发展,日志数据量不断增大,形成了所谓的“大数据”问题。大规模的日志数据集对异常检测提出了挑战,需要高效的算法和技术来处理和分析。
2、近年来,随着机器学习和深度学习的快速发展,这些技术在日志异常检测中得到了广泛应用。机器学习方法可以学习日志数据的正常模式,从而识别异常行为,而深度学习方法能够自动提取日志数据中的复杂特征和模式,提高异常检测的效果。
3、深度学习是机器学习的一个分支,是一种模仿人类大脑神经网络结构和功能的人工智能技术。它通过多层次的神经网络来自动地从大量数据中学习和提取特征,并用这些特征来解决各种复杂的任务,如图像识别、自然语言处
...【技术保护点】
1.一种基于深度学习技术的系统日志异常检测方法,其特征在于:包括以下具体步骤:
2.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤S1中,对训练日志数据集进行模板解析,得到结构化的日志模板数据,具体为:使用Drain方法对训练日志数据集的日志进行模板解析:
3.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤S2中,构建包括E5和TextCNN模型的向量化模型,并将结构化的日志模板数据输入向量化模型进行无监督对比学习训练,具体步骤为:
4.根据权利要求1所述的基于
...【技术特征摘要】
1.一种基于深度学习技术的系统日志异常检测方法,其特征在于:包括以下具体步骤:
2.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤s1中,对训练日志数据集进行模板解析,得到结构化的日志模板数据,具体为:使用drain方法对训练日志数据集的日志进行模板解析:
3.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤s2中,构建包括e5和textcnn模型的向量化模型,并将结构化的日志模板数据输入向量化模型进行无监督对比学习训练,具体步骤为:
4.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,其特征在于:所述的步骤s3中,遍历训练日志数据集,通过抽取并关联训练日志数据集的数据中的会话及事件,生成子序列样本数据,具体步骤为:
5.根据权利要求1所述的基于深度学习技术的系统日志异常检测方法,...
【专利技术属性】
技术研发人员:刘兰,陈桂铭,惠占发,周驰宇,黄宇凡,
申请(专利权)人:广东技术师范大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。