一种基于自监督学习的并发多点日志异常检测方法技术

技术编号:42615904 阅读:30 留言:0更新日期:2024-09-03 18:21
本发明专利技术公开了一种基于自监督学习的并发多点日志异常检测方法,涉及日志异常检测技术领域,包括以下步骤:预先收集历史日志文件集合;基于日志文件集合和LogBert结构的基础上,以自监督的方式训练出日志异常检测模型;所述日志异常检测模型以掩码遮挡日志的方式产生残缺数据,产生语义向量,最小化其与完整正常的日志的交叉熵损失,日志异常检测模型预测输入之间的相关性矩阵,用来组合不同文件小事务为大事务流程;对日志内容异常点进行检测,并同时提供异常点所在的大事务流程,综合考虑多组件之间的关联关系,提供更全面、准确的异常检测结果。

【技术实现步骤摘要】

本专利技术涉及日志异常检测,具体涉及一种基于自监督学习的并发多点日志异常检测方法


技术介绍

1、日志异常检测在大规模系统的事件管理中发挥着重要作用,为及时发现系统的异常行为和排除故障提供着关键的素材记录。日志数据通常由开发人员为了程序调试而在代码流程中嵌入的打印文本数据的代码所产生,用来记录运行程序过程中的变量取值变化、程序执行状态、报错提示等。因此,日志数据在一定程度上是可以清晰追踪细粒度的流程执行轨迹,非常适用于上下文异常检测以及后续的故障预测任务;

2、传统的系统异常检测以及故障分析,通常是开发和运维人员根据他们的领域经验知识来手工分析日志或者是编写硬规则来匹配搜索系统中的关键信息。而随着大型系统的应用越来越广泛,日志的生成速度也是爆炸式增长,而开发人员也无法去熟悉大型系统中的每一个模块,以人工的方式去检测和分析日志以提取有用的错误信息并及时相应恢复应用功能无疑将是越来越低效且逐渐不切实际的做法;

3、当前,为了应对人工检测分析日志的乏力,提出了许多基于传统机器学习和深度学习模型的方法。然而,传统机器学习难以提取日志中离散的本文档来自技高网...

【技术保护点】

1.一种基于自监督学习的并发多点日志异常检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述历史日志文件集合包括N组不同组件的日志文件集,N为正整数,日志文件集包括正常和异常的日志样本;

3.根据权利要求2所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述日志异常检测模型基于预处理模块实现,预处理模块用于提炼日志文件的关键信息,剔除其中无信息量的非事务冗余日志文本,并将文件中的日志文本根据事件开始和结束标志组合为小事务单元。

4.根据权利要求3所述的一种基于自监督...

【技术特征摘要】

1.一种基于自监督学习的并发多点日志异常检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述历史日志文件集合包括n组不同组件的日志文件集,n为正整数,日志文件集包括正常和异常的日志样本;

3.根据权利要求2所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述日志异常检测模型基于预处理模块实现,预处理模块用于提炼日志文件的关键信息,剔除其中无信息量的非事务冗余日志文本,并将文件中的日志文本根据事件开始和结束标志组合为小事务单元。

4.根据权利要求3所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述日志文件的关键信息包括时间、线程id、日志级别。

5.根据权利要求3所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述日志文本的事件分为大事务和小事务;

6.根据权利要求1所...

【专利技术属性】
技术研发人员:尹志华
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1