一种基于组件感知的日志异常检测方法技术

本发明专利技术涉及基于组件感知的日志异常检测方法，该方法将目标软件的日志消息转换为日志模板序列和组件序列，然后进行模型训练，将两个LSTM模型组合使用，两个LSTM模型训练使用相同的损失函数，采用梯度下降优化算法更行参数值，训练完成得到由日志检测模型和组件检测模型构成的组合模型；将t‑h到t‑1时刻的所有日志数据的参考日志模板序列和参考组件序列输入组合模型得到可能日志模板集和可能组件模板集；当t时刻日志消息m

【技术实现步骤摘要】
一种基于组件感知的日志异常检测方法
本专利技术涉及软件日志检测
，特别涉及一种基于组件感知的日志异常检测方法。
技术介绍
随着软件系统向大规模，复杂的分布式系统发展，这些系统经常遭受错误和漏洞的困扰。此外，这些大型系统通常提供大量的在线服务和应用程序接口，这就要求系统具有很高的鲁棒性和稳定性。但是，当发生系统故障(例如服务故障和服务中断)时，多个服务可能会受到故障的影响，这可能会导致系统的重大损失。系统异常检测技术旨在定位这些系统故障。这种技术在系统维护中起着至关重要的作用。对于工程师来说，及时准确地发现异常是必要的，以便及时查明原因。系统中有许多类型的数据可用于异常检测和故障排除。在大多数大型系统中普遍可用的日志数据具有大量信息，并且包含关键系统状态，事件和运行时消息的记录。因此，系统日志成为异常检测的中心数据源。基于日志的异常检测已成为一个研究问题，并有许多方法被提出来。通常，这些现有方法首先从日志中提取有用的特征，然后采用独特或通用的检测算法来定位异常日志。在此过程中，日志特征的选择至关重要，因为代表性特征可以反映正常日志和本文档来自技高网...

【技术保护点】
1.一种基于组件感知的日志异常检测方法，其特征在于，包括如下步骤：/nS100:获取目标软件的日志数据，将日志数据转换为日志模板序列和组件序列；/nS200:模型训练，将两个LSTM模型组合使用，将S100得到的日志模板序列和组件序列分别输入到两个LSTM模型中进行训练，两个LSTM模型训练使用相同的损失函数，采用梯度下降优化算法更行参数值，训练完成得到由日志检测模型和组件检测模型构成的组合模型；/nS300:异常检测，将t-h到t-1时刻的所有日志数据的参考日志模板序列和参考组件序列输入组合模型得到可能日志模板集L

【技术特征摘要】
1.一种基于组件感知的日志异常检测方法，其特征在于，包括如下步骤：
S100:获取目标软件的日志数据，将日志数据转换为日志模板序列和组件序列；
S200:模型训练，将两个LSTM模型组合使用，将S100得到的日志模板序列和组件序列分别输入到两个LSTM模型中进行训练，两个LSTM模型训练使用相同的损失函数，采用梯度下降优化算法更行参数值，训练完成得到由日志检测模型和组件检测模型构成的组合模型；
S300:异常检测，将t-h到t-1时刻的所有日志数据的参考日志模板序列和参考组件序列输入组合模型得到可能日志模板集Lg和可能组件模板集Cg；
当t时刻日志消息mt的待测日志模板序列在可能日志模板集Lg中，且t时刻日志消息mt的待测组件序列在可能组件模板集Cg中，则认为日志消息mt为正常日志，否则产生系统告警。


2.如权利要求1所述的，基于组件感知的日志异常检测方法，其特征在于，所述S100中的将非结构化日志数据转换为日志模板序列和组件序列的方法为：
使用固定深度树将获取的待测软件的日志数据中，构建日志模板序列；
使用正则表达式来匹配每一条日志数据中的组件，然后为不同的组件进行编号得到组件序列。


3.如权利要求1所述的，基于组件感知的日志异常检测方法，其特征在于，所述S200的训练过程为：
设S100中得到n个日志模板序列L＝{l1,l2,...,ln}和m个组件序列O＝{o1,o2,...,on}，n≥m；
设t时刻的日志消息为mt；
给定一个日志消息序列M＝{m1,m2,...,mt}，通过S100的方法提取日志模板序列和组件序列，将两者合并得到一个新的序列M...

【专利技术属性】
技术研发人员：鄢萌，尹昆，徐玲，付春雷，张小洪，徐洲，雷晏，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50