【技术实现步骤摘要】
一种日志模式提取及匹配方法
本专利技术涉及数据挖掘领域，尤其是涉及一种日志模式提取及匹配方法。
技术介绍
现如今，信息系统的规模及其复杂度的增长趋势极其明显，系统运维所面临的挑战日益严峻，所需的人力成本与物力成本不断增加，严重时甚至会超过系统本身的构建成本。而对于系统的运行维护主要通过持续监控和分析系统日志，性能计数器和应用程序资源使用模式，评估系统运行状况并确定性能变化。主要依靠的是系统产生的各类运行状态记录数据，常见的有性能计数器定期产生的性能指标记录数据，如KPI数据，实时产生的系统日志，如事件日志数据等。如何更好的利用系统产生的运行状态记录数据来实时地把握系统的运行情况，可以有效地节约运维成本，提高系统本身的可靠性和效率，并且实现智能化的运维过程。对于日志数据的有效分析可以非常有效地帮助系统运维人员来了解系统的运行状态，针对日志数据的分析可以实现对于系统的异常检测、预测以及原因分析，而这些工作都离不开对于日志数据本身的有效处理，常规的处理就包括有：日志解析、日志模式提取及匹配、日志特征提取、日志向量化等。其中对于日志...
【技术保护点】
1.一种日志模式提取方法，其特征在于，该方法包括以下步骤：/n步骤S1：清洗历史日志数据，得到清洗后历史日志数据；/n步骤S2：对清洗后历史日志数据进行预处理，得到预处理后历史日志数据；/n步骤S3：基于预处理后历史日志数据，得到历史词向量；/n步骤S4：将历史词向量输入孪生LSTM网络，提取日志模式。/n
【技术特征摘要】
1.一种日志模式提取方法，其特征在于，该方法包括以下步骤：
步骤S1：清洗历史日志数据，得到清洗后历史日志数据；
步骤S2：对清洗后历史日志数据进行预处理，得到预处理后历史日志数据；
步骤S3：基于预处理后历史日志数据，得到历史词向量；
步骤S4：将历史词向量输入孪生LSTM网络，提取日志模式。
2.根据权利要求1所述的一种日志模式提取方法，其特征在于，所述的预处理包括变量替换和分词处理。
3.根据权利要求1所述的一种日志模式提取方法，其特征在于，所述的步骤S3将预处理后历史日志数据输入word2vec模型，得到历史词向量。
4.根据权利要求1所述的一种日志模式提取方法，其特征在于，所述的步骤S4包括：
步骤S41：将历史词向量按出现在日志语句中的顺序排序，得到日志语句向量；
步骤S42：将两条日志语句的日志语句向量分别输入孪生LSTM网络的左子网络和右子网络，得到两条日志语句的表征结果M1和M2；
步骤S43：判断两条日志语句是否合并簇，若是，提取该合并簇的日志模式，若否，分别提取两条日志语句所在簇...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。