生成日志模板的方法、日志解析方法和日志解析系统技术方案

技术编号:46591630 阅读:2 留言:0更新日期:2025-10-10 21:25
公开了生成日志模板的方法、日志解析方法和日志解析系统。所述生成日志模板的方法包括:对多个日志条目进行预处理,以获得正则化表达的预处理后的日志条目;基于预处理后的日志条目的长度,将预处理后的日志条目划分为多个桶;基于预处理后的日志条目的前K个词元,将每个桶中的日志条目划分为多个子桶,其中,K是大于等于2的整数;针对每个子桶生成子桶日志模板集合;将每个子桶中的日志条目的长度和前K‑1个词元存储为每个子桶的哈希表的键,并且将每个子桶的子桶日志模板集合存储为哈希表的值;将所述多个子桶的哈希表合并为哈希表库。

【技术实现步骤摘要】

本公开涉及数据处理领域,更具体地讲,涉及生成日志模板的方法、日志解析方法和日志解析系统


技术介绍

1、日志解析是从原始的日志(或日志条目)提取日志模板和对应的参数的过程。解析后的日志可用于异常检测、故障预测、故障分析等下游任务。

2、现有的日志解析方法通常利用前缀树结构来存储日志解析过程执行期间的中间结果和最终结果。然而,基于前缀树结构的日志解析方法难以执行并行处理。当日志的数量庞大时,基于前缀树的日志解析方法的运行时间大幅增加,可能导致无法有效地解析和生成模板。


技术实现思路

1、提供本
技术实现思路
以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求保护的主题的关键特征或/或必要特征,也不意在用于帮助确定要求保护的主题的范围。

2、根据本公开的一个方面,提供一种生成日志模板的方法,所述方法包括:对多个日志条目进行预处理,以获得正则化表达的预处理后的日志条目;基于预处理后的日志条目的长度,将预处理后的日志条目划分为多个桶;基于预处理后的日志条目的前本文档来自技高网...

【技术保护点】

1.一种生成日志模板的方法,包括:

2.根据权利要求1所述的方法,

3.根据权利要求2所述的方法,

4.根据权利要求1所述的方法,其中,使用分隔符集合和正则化表达式集合对所述多个日志条目进行预处理的步骤包括:

5.根据权利要求1所述的方法,其中,基于预处理后的日志条目的长度将预处理后的日志条目划分为多个桶的步骤包括:

6.根据权利要求1所述的方法,其中,基于预处理后的日志条目的前K个词元将每个桶中的日志条目划分为多个子桶的步骤包括:

7.根据权利要求1所述的方法,其中,针对每个子桶生成子桶日志模板集合的步骤包括:针对...

【技术特征摘要】

1.一种生成日志模板的方法,包括:

2.根据权利要求1所述的方法,

3.根据权利要求2所述的方法,

4.根据权利要求1所述的方法,其中,使用分隔符集合和正则化表达式集合对所述多个日志条目进行预处理的步骤包括:

5.根据权利要求1所述的方法,其中,基于预处理后的日志条目的长度将预处理后的日志条目划分为多个桶的步骤包括:

6.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员:张鹏博孙伟陶兴源
申请(专利权)人:三星半导体中国研究开发有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1