【技术实现步骤摘要】
本专利技术涉及日志异常检测,具体涉及一种基于自监督学习的并发多点日志异常检测方法。
技术介绍
1、日志异常检测在大规模系统的事件管理中发挥着重要作用,为及时发现系统的异常行为和排除故障提供着关键的素材记录。日志数据通常由开发人员为了程序调试而在代码流程中嵌入的打印文本数据的代码所产生,用来记录运行程序过程中的变量取值变化、程序执行状态、报错提示等。因此,日志数据在一定程度上是可以清晰追踪细粒度的流程执行轨迹,非常适用于上下文异常检测以及后续的故障预测任务;
2、传统的系统异常检测以及故障分析,通常是开发和运维人员根据他们的领域经验知识来手工分析日志或者是编写硬规则来匹配搜索系统中的关键信息。而随着大型系统的应用越来越广泛,日志的生成速度也是爆炸式增长,而开发人员也无法去熟悉大型系统中的每一个模块,以人工的方式去检测和分析日志以提取有用的错误信息并及时相应恢复应用功能无疑将是越来越低效且逐渐不切实际的做法;
3、当前,为了应对人工检测分析日志的乏力,提出了许多基于传统机器学习和深度学习模型的方法。然而,传统机器学习
...【技术保护点】
1.一种基于自监督学习的并发多点日志异常检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述历史日志文件集合包括N组不同组件的日志文件集,N为正整数,日志文件集包括正常和异常的日志样本;
3.根据权利要求2所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述日志异常检测模型基于预处理模块实现,预处理模块用于提炼日志文件的关键信息,剔除其中无信息量的非事务冗余日志文本,并将文件中的日志文本根据事件开始和结束标志组合为小事务单元。
4.根据权利要求3
...【技术特征摘要】
1.一种基于自监督学习的并发多点日志异常检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述历史日志文件集合包括n组不同组件的日志文件集,n为正整数,日志文件集包括正常和异常的日志样本;
3.根据权利要求2所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述日志异常检测模型基于预处理模块实现,预处理模块用于提炼日志文件的关键信息,剔除其中无信息量的非事务冗余日志文本,并将文件中的日志文本根据事件开始和结束标志组合为小事务单元。
4.根据权利要求3所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述日志文件的关键信息包括时间、线程id、日志级别。
5.根据权利要求3所述的一种基于自监督学习的并发多点日志异常检测方法,其特征在于,所述日志文本的事件分为大事务和小事务;
6.根据权利要求1所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。