【技术实现步骤摘要】
日志异常检测方法及装置
本申请属于数据处理
，具体涉及一种日志异常检测方法和装置。
技术介绍
现代系统正在向大规模发展，通过构建数千台机器来扩展分布式系统，使用数千台处理器的超级计算机来扩展高性能计算。系统运行时通常将软件运行的实时状态记录以文本形式记录在文件中，该文件称为日志(logs)或日志文件，记录软件运行期间的详细运行时信息。一个日志包括多行日志记录，每一行日志记录用于记录软件运行时的一个事件。日志中的日志记录通常具有隐含的日志模板(schema)，即该记录本身的模式或格式。现有方法中开发人员根据他们的领域知识手动检查系统日志或编写规则来检测异常，并额外使用关键字搜索或正则表达式匹配。然而，这种依赖人工检查日志的异常检测，无法实现对日志的准确检测。
技术实现思路
(一)要解决的技术问题鉴于现有技术的上述缺点、不足，本申请提供一种日志异常检测方法和装置。(二)技术方案为达到上述目的，本申请采用如下技术方案：第一方面，本申请实施例提供一种日志异常检测方法，...
【技术保护点】
1.一种日志异常检测方法，其特征在于，该方法包括：/nS10、获取多条原始日志记录，作为待检测日志序列；/nS20、基于预先建立的日志模板库，提取所述待检测日志序列的变量特征、窗口特征、顺序特征；所述日志模板库是通过对历史日志记录进行日志解析，模板抽取得到的；所述变量特征为日志记录的数值型变量值，所述窗口特征为时间窗口内各日志模板出现的次数，所述顺序特征为根据日志记录的输出顺序得到的日志模板序列；/nS30、对所述待检测日志序列进行异常检测，包括：/n基于所述变量特征，通过统计学法或聚类法对所述待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测，以确定变量值异常...
【技术特征摘要】
1.一种日志异常检测方法，其特征在于，该方法包括：
S10、获取多条原始日志记录，作为待检测日志序列；
S20、基于预先建立的日志模板库，提取所述待检测日志序列的变量特征、窗口特征、顺序特征；所述日志模板库是通过对历史日志记录进行日志解析，模板抽取得到的；所述变量特征为日志记录的数值型变量值，所述窗口特征为时间窗口内各日志模板出现的次数，所述顺序特征为根据日志记录的输出顺序得到的日志模板序列；
S30、对所述待检测日志序列进行异常检测，包括：
基于所述变量特征，通过统计学法或聚类法对所述待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测，以确定变量值异常的日志记录；
基于所述窗口特征，通过主成分分析法对所述待检测日志序列中每个时间窗口内日志记录出现的频率进行异常检测，以确定频率异常的时间窗口中的日志记录组；
基于所述顺序特征，通过有限自动机的方法检测所述待检测日志序列中日志记录子序列是否属于预先建立的任务集合，以确定行为异常的日志记录子序列。
2.根据权利要求1所述的日志异常检测方法，其特征在于，所述窗口特征的提取方法包括：
对所述待检测日志序列中的每一条日志记录，从所述日志模板库中匹配得到其使用的日志模板；
对所述待检测日志序列以预设长度的滑动窗口进行切分，统计每个窗口中各个日志模板出现的次数，作为时间窗口的窗口特征。
3.根据权利要求2所述的日志异常检测方法，其特征在于，每次滑动窗口滑动的距离为半个窗口。
4.根据权利要求3所述的日志异常检测方法，其特征在于，基于所述窗口特征，通过主成分分析法对待检测日志序列中每个时间窗口内日志记录出现的频率进行异常检测，包括：
基于每个时间窗口的窗口特征，生成窗口日志数量向量；
基于所述窗口日志数量向量，计算其在预先建立的残差子空间的平方预报误差，当平方预报误差大于预先确定的控制限时，当前时间窗口为异常的时间窗口；其中，所述残差子空间基于系统正常运行的日志记录通过主成分分析法建立。
5.根据权利要求1所述的日志异常检测方法，其特征在于，所述变量特征的提取方法包括：
对所述待检测日志序列中的每一条日志记录，从所述日志模板库中匹配得到其使用的日志模板；
对所述待检测日志序列中的每一条日志记录，基于日志记录使用的日志模板提取数值型变量值作为该日志记录中相应变量的变量特征。
6.根据权利要求5所述的日志异常检测方法，其特征在于，基于所述变量特征，通过统计学法或聚类法对待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测，包括
基于所述变量特征，将属于相同模板的相同数值型...
【专利技术属性】
技术研发人员：李晓戈，邱连涛，胡飞雄，胡立坤，张东晨，于智洋，
申请(专利权)人：西安邮电大学，腾讯科技深圳有限公司，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。