【技术实现步骤摘要】
本专利技术涉及网络安全，尤其涉及一种面向分布式系统的日志异常检测和定位的方法及装置。
技术介绍
1、随着计算机技术的飞快发展，系统逐步向大规模分布式的方向飞速发展，系统的吞吐量也日渐庞大。大型分布式服务大多很多节点，同时支持数百万用户的使用。这些系统提供了各项线上服务(如社交、谷歌和在线购物)和应用(如外卖、快递、gps导航)，与用户的日常生活息息相关，因此其安全性显得尤为重要。如果系统发生异常，如网络中断和网络阻塞，都可能导致程序崩溃，严重破坏了破坏分布式系统可用性和可靠性，降低了用户体验，造成的损失也是不计其数的。因此就系统的开发、维护人员而言，保证系统的稳定性和降低异常发生频率、缩小异常波及范围是首要目标。
2、而系统定期产生的日志便成为了异常检测的主要研究对象，是检测系统稳定性的重要指标。系统产生的日志记录系统运行的详细状态和关键事件，这些日志便可以用于异常检测。异常检测已经成为被广大研究者关注的重要课题，针对异常检测的研究也在持续进行并不断完善。异常检测主要目的在于及时检测出系统中的异常行为，并给出预警。从而提醒维护人员或用户采取相关操作来及时减少损失。
3、在传统的日志异常检测中，开发人员采用手动检测的方式来进行日志异常检测。但是，随着系统的规模的持续攀升，系统产生的日志量也大幅度提升；并且随着分布式的逐步推广，分布式输出大量交错日志。采取人工手动的方式处理这些交错的日志量、分析分布式组件间的复杂依赖关系显然失去了可行性。为了处理海量交错的系统日志，研究者们提出了很多基于日志分析的自动的异常检
4、因此，需要设计一种分布式系统下的日志异常检测和定位的方法来解决在分布式场景下进行稳健高效的日志异常检测的技术难题。
技术实现思路
1、本专利技术针对现有技术的不足，提出一种面向分布式系统的日志异常检测和定位的方法及装置，该方案采用了一种智能的日志解析器，无需繁琐的参数调整即可稳定地解析不同格式的日志，更为重要的是，引入了albert模型，用于处理不断变化的日志格式。通过构建组件实例森林并利用树的深度优先遍历算法，挖掘不同id之间的依赖关系，使得日志消息能够更准确地与不同组件关联，实现了分布式系统中的异常位置定位，提高了异常定位的精确性，简化了开发人员的工作，加快了问题解决的速度。本方案通过引入语义嵌入、时间嵌入和数量嵌入，结合基于注意力的bi-gru模型，显著提高了分布式系统下日志异常检测的准确性。此外，引入时间向量有助于检测性能问题，部分性能异常能够被及时识别，从而提高了系统的可用性。
2、为了实现上述目的，本专利技术提供如下技术方案：
3、一种面向分布式系统的日志异常检测和定位的方法及装置，包括以下模块：
4、a、日志解析：通过正则表达式、聚类、lcs和前缀树对日志消息解析得到日志模板；
5、b、向量嵌入：分别对得到的日志模板进行语义嵌入、时间嵌入和数量嵌入；
6、c、异常检测：这三种类型的向量连接起来，得到与日志相对应的向量，输入attn-bigru，进行异常检测；
7、d、异常定位：构建一个实例树，实例树的节点是特定的实例id。当在某个日志中检测到异常时，使用深度优先算法遍历实例树，进行异常定位；
8、与现有技术相比，本专利技术的有益效果为：
9、1、本专利技术采用了一种智能的日志解析器，无需繁琐的参数调整。它的特点在于使用了基于字典和长度的解析方法，这使得它能够稳定地解析不同格式的日志，而不需要不断调整配置。更为重要的是，它引入了albert模型，用于处理不断变化的日志格式。albert模型能够自适应不同的日志格式，这增加了分布式系统异常检测方法的稳定性，从而提高了异常检测的鲁棒性。
10、2、本专利技术通过构建组件实例森林并利用树的深度优先遍历算法，通过挖掘不同id之间的依赖关系，使得日志消息能够更准确地与不同组件关联，实现了分布式系统中的异常位置定位，提高了异常定位的精确性，简化了开发人员的工作，加快了问题解决的速度。
11、3、本专利技术通过引入语义嵌入、时间嵌入和数量嵌入，结合基于注意力的bi-gru模型，显著提高了分布式系统下异常检测的准确性。此外，引入时间向量有助于检测性能问题，部分性能异常能够被及时识别，从而提高了系统的可用性。
12、综上，本专利技术提出的分布式系统下的日志异常检测和定位的方法及装置，在提高异常检测的准确性的同时保证了系统的鲁棒性，并且极大地减化了异常问题的解决过程。
本文档来自技高网...【技术保护点】
1.一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，包括以下模块：
2.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块A包括以下四个步骤：
3.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块A实现了一种智能的日志解析器，无需繁琐的参数调整，通过基于字典和长度的解析方法，能够稳定地解析不同格式的日志，而且不需要不断调整配置。
4.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块A步骤S1中只有当词集dword和日志长度L相同时，这两个日志条目才能被归类到相同的簇中。
5.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块A步骤S3使用LCS获取聚类内日志序列的最长公共子序列，如果非有效的词是聚类中所有日志条目的共同子序列，它们也可以被视为恒定部分。
6.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块A步骤S
7.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块B引入了ALBERT模型，ALBERT模型采用参数共享和嵌入层参数的分解，显著减少了参数数量，能够自适应不同的日志格式。
8.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块B引入语义嵌入、时间嵌入和数量嵌入，特别是引入时间向量有助于检测性能问题，部分性能异常能够被及时识别。
9.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块D通过构建组件实例森林并利用树的深度优先遍历算法，通过挖掘不同ID之间的依赖关系，使得日志消息能够更准确地与不同组件关联，实现了分布式系统中的异常位置定位。
...【技术特征摘要】
1.一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，包括以下模块：
2.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块a包括以下四个步骤：
3.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块a实现了一种智能的日志解析器，无需繁琐的参数调整，通过基于字典和长度的解析方法，能够稳定地解析不同格式的日志，而且不需要不断调整配置。
4.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块a步骤s1中只有当词集dword和日志长度l相同时，这两个日志条目才能被归类到相同的簇中。
5.根据权利要求1所述的一种面向分布式系统的日志异常检测和定位的方法及装置，其特征在于，模块a步骤s3使用lcs获取聚类内日志序列的最长公共子序列，如果非有效的词是聚类中所有日志条目的共同子序列，它们也可以被视为恒定部分。
6.根据权利要...
【专利技术属性】
技术研发人员：高雅丽，李小勇，袁开国，孙燕杰，郑鑫浩，孙浩文，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。