一种日志异常检测方法及系统技术方案

本发明专利技术提供了一种日志异常检测方法及系统，所述方法包括：预处理日志数据；识别日志模式；将日志数据映射为时序数据；日志异常检测；采用固定阈值与同环比检测方法进行异常检测，根据用户反馈对筛选频率分量的动态阈值与预设周期进行调整。本发明专利技术的优势在于：在时间序列映射后，对数据进行k阶差分平稳化，减少日志趋势对日志异常检测的影响；根据日志特点，设置动态阈值获取候选频率分量的方法，提高传统周期性检测的计算速率，且可根据用户反馈对阈值进行动态调整，提高了周期检测准确率；针对日志异常检测结果与周期检测结果，本发明专利技术加入用户反馈机制，从而根据用户反馈调整预设周期，提高了日志周期性检测的准确性。

【技术实现步骤摘要】

本专利技术属于智能运维领域，具体涉及一种日志异常检测方法及系统。

技术介绍

1、网络设备、安全设备、操作系统、数据库、中间件、业务系统等每天会产生大量的日志数据，日志记录了系统在某个时间点执行了某些操作和相应的操作结果的记录，理论上蕴含了丰富的系统信息。而随着云计算、分布式系统、微服务等技术的发展，系统与服务规模越来越大，系统故障排查难度系数进一步增加。如何对系统或服务产生的日志进行统一分析、管理，获取日志中关于系统或服务的运行状态等信息，从而实现系统的状态管理、异常发现、故障定位等功能，是运维工作人员需要重点解决的问题，也是提升企业运维系统、业务系统等稳定性、健壮性与安全性的关键。

2、在智能运维行业，通用日志异常检测方法为基于模式识别的统计异常检测方法。图1所示，具体流程包括：(1)利用drain、spell等通用日志模式识别方法进行模式识别，提取日志模式；(2)针对每一个日志模式，在某一时间粒度内进行模式数量聚合，将日志数据转化为时间序列数据；(3)利用k-sigma、固定阈值等统计方法计算异常，从而进行日志异常检测。该方法通过将日志转换本文档来自技高网...

【技术保护点】

1.一种日志异常检测方法，所述方法包括：

2.根据权利要求1所述的日志异常检测方法，其特征在于，所述步骤3具体包括：识别日志模式后，将每个模式中的日志数据按照时间排序，然后按照设定时间粒度进行聚合，从而将每一个模式映射成为时间序列数据；

3.根据权利要求2所述的日志异常检测方法，其特征在于，所述步骤4-2具体包括：

4.根据权利要求3所述的日志异常检测方法，其特征在于，步骤4-2-1具体包括：

5.根据权利要求4所述的日志异常检测方法，其特征在于，步骤4-2-2具体包括：

6.根据权利要求5所述的日志异常检测方法，其特征在于，步...

【技术特征摘要】

1.一种日志异常检测方法，所述方法包括：

2.根据权利要求1所述的日志异常检测方法，其特征在于，所述步骤3具体包括：识别日志模式后，将每个模式中的日志数据按照时间排序，然后按照设定时间粒度进行聚合，从而将每一个模式映射成为时间序列数据；

3.根据权利要求2所述的日志异常检测方法，其特征在于，所述步骤4-2具体包括：

4.根据权利要求3所述的日志异常检测方法，其特征在于，步骤4-2-1具体包括：

5.根据权利要求4所述的日志异常...

【专利技术属性】
技术研发人员：孙刚，沈启龙，唐健，芮子珺，陈瑞锋，杨超，姚泽，胡小荣，
申请(专利权)人：国家电投集团数字科技有限公司，
类型：发明
国别省市：