一种基于距离感知半监督学习的日志异常检测方法技术

本发明专利技术涉及一种基于距离感知半监督学习的日志异常检测方法，该方法有效减轻对大量人工标注数据的依赖。该方法包含三个组件：日志表征组件使用Drain+进行日志解析并将日志事件模版转换为语义向量作为方法输入，以缓解日志消息演化对方法性能造成的影响。距离感知标签评估组件利用无标签数据和少量正类标签数据之间的距离自动地评估出高质量的伪标签数据，有效降低对大量人工标注数据的依赖。异常检测组件使用Transformer编码器对正类标签数据和高质量伪标签数据进行编码，捕获日志消息中的复杂模式和长期依赖关系，最终用于异常检测任务。在三个公开数据集上的实验结果表明，该方法的整体性能均优于三个基线方法。

【技术实现步骤摘要】

本专利技术涉及日志异常检测方法，尤其涉及一种基于距离感知半监督学习的日志异常检测方法。

技术介绍

1、随着软件系统的不断发展，它们变得日益复杂和庞大，且需提供7*24小时无间断服务。在生产环境中，软件系统的任何故障都可能导致服务中断或质量下降，进而造成重大经济损失。例如：滴滴在2023年11月27日出现app服务故障，造成约4亿人民币的收入损失。因此，在故障发生前及时检测到系统异常对于提升软件系统的可靠性和服务质量至关重要。日志作为系统运行状态重要信息源，日志分析因此成为确保大规模软件系统高可用性和可靠性的关键技术，并在快速发展的智能运维(aiops)领域中得到了广泛关注。然而，现代软件系统的庞大规模带来了海量的运行日志，这使得手动日志分析变得不切实际。因此，越来越多的研究集中于发展自动化日志分析技术。

2、日志异常检测是自动化日志分析最重要应用场景，其目的是基于软件系统运行过程中产生的日志自动检测系统异常。依据所使用的机器学习技术，现有的异常检测方法可分为：无监督异常检测方法、半监督异常检测方法和监督异常检测方法。虽然这些方法取得了显著成效，本文档来自技高网...

【技术保护点】

1.一种基于距离感知半监督学习的日志异常检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于距离感知半监督学习的日志异常检测方法，其特征在于：所述S2中，日志事件语义向量V的获取过程如下：

3.如权利要求1或2所述的一种基于距离感知半监督学习的日志异常检测方法，其特征在于：所述S3中，所述距离感知标签评估组件对未标注样本进行标签评估，评估出高质量伪负标注数据和高质量伪正标注数据的过程如下：

【技术特征摘要】

1.一种基于距离感知半监督学习的日志异常检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于距离感知半监督学习的日志异常检测方法，其特征在于：所述s2中，日志事件语义向量v的获取过程如下：...

【专利技术属性】
技术研发人员：张小洪，傅颖，鄢萌，周一飞，蒋鹏，
申请(专利权)人：重庆大学，
类型：发明
国别省市：