【技术实现步骤摘要】
本公开涉及数据处理领域,更具体地讲,涉及生成日志模板的方法、日志解析方法和日志解析系统。
技术介绍
1、日志解析是从原始的日志(或日志条目)提取日志模板和对应的参数的过程。解析后的日志可用于异常检测、故障预测、故障分析等下游任务。
2、现有的日志解析方法通常利用前缀树结构来存储日志解析过程执行期间的中间结果和最终结果。然而,基于前缀树结构的日志解析方法难以执行并行处理。当日志的数量庞大时,基于前缀树的日志解析方法的运行时间大幅增加,可能导致无法有效地解析和生成模板。
技术实现思路
1、提供本
技术实现思路
以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求保护的主题的关键特征或/或必要特征,也不意在用于帮助确定要求保护的主题的范围。
2、根据本公开的一个方面,提供一种生成日志模板的方法,所述方法包括:对多个日志条目进行预处理,以获得正则化表达的预处理后的日志条目;基于预处理后的日志条目的长度,将预处理后的日志条目划分为多个桶;基于预
...【技术保护点】
1.一种生成日志模板的方法,包括:
2.根据权利要求1所述的方法,
3.根据权利要求2所述的方法,
4.根据权利要求1所述的方法,其中,使用分隔符集合和正则化表达式集合对所述多个日志条目进行预处理的步骤包括:
5.根据权利要求1所述的方法,其中,基于预处理后的日志条目的长度将预处理后的日志条目划分为多个桶的步骤包括:
6.根据权利要求1所述的方法,其中,基于预处理后的日志条目的前K个词元将每个桶中的日志条目划分为多个子桶的步骤包括:
7.根据权利要求1所述的方法,其中,针对每个子桶生成子桶日志模板
...【技术特征摘要】
1.一种生成日志模板的方法,包括:
2.根据权利要求1所述的方法,
3.根据权利要求2所述的方法,
4.根据权利要求1所述的方法,其中,使用分隔符集合和正则化表达式集合对所述多个日志条目进行预处理的步骤包括:
5.根据权利要求1所述的方法,其中,基于预处理后的日志条目的长度将预处理后的日志条目划分为多个桶的步骤包括:
6.根据权利要求1所述的方法...
【专利技术属性】
技术研发人员:张鹏博,孙伟,陶兴源,
申请(专利权)人:三星半导体中国研究开发有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。