一种日志聚类方法、装置、设备及存储介质制造方法及图纸

技术编号:42142814 阅读:17 留言:0更新日期:2024-07-26 23:59
本说明书实施例涉及计算机技术领域,提供了一种日志聚类方法、装置、设备及存储介质,所述方法包括:获取指定时段的历史日志流数据;将历史日志流数据输入Drain3模型,得到历史日志流数据的日志模板类别,将历史日志流数据的日志模板类别输入语义嵌入模型,得到日志模板类别对应的语义向量表示;将日志模板类别对应的语义向量表示输入K‑Means模型,得到每一日志模板类别对应的日志类别。通过本说明书实施例,可以减小日志聚类的计算量并提高日志聚类的准确率。

【技术实现步骤摘要】

本说明书实施例涉及计算机,尤其是一种日志聚类方法、装置、设备及存储介质


技术介绍

1、日志是软件系统中获取系统状态的重要来源,日志中包含的运行时状态报告以及错误信息被广泛地用于系统运维中,同时日志也是智能运维场景中经常要面对的数据类型。随着现阶段企业软件系统变得日益庞大和复杂,对于系统产生的海量异构日志,可以通过日志聚类的方法,将相同模式的日志归为一类,以此快速的掌握日志全貌,同时能够方便后续的问题定位与异常检测。

2、现有的日志聚类方法主要包括基于规则匹配的方法和基于神经网络的方法。基于预先定义的分类规则来对日志进行分组,对分组后的日志进行逐词对比区分常量和变量,以生成对应的日志模板,基于模板实现对日志的分类。该方法在日志分类的过程中,未考虑日志的语义信息,只能生成固定化的日志模板,无法对相同语义的日志进行聚类,导致聚类结果分散,使得日志聚类的准确性较差。而基于神经网络的聚类方法依赖过多的先验知识,只有对大量数据进行分析才能提取到日志的有效关键信息,由于数据量多从而存在计算量大,计算成本高的问题。因此,亟需一种日志聚类方法能提高日志聚类的准本文档来自技高网...

【技术保护点】

1.一种日志聚类方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述历史日志流数据输入Drain3模型之前,还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述历史日志流数据输入Drain3模型,得到每一历史日志数据的日志模板类别,包括:

7.一种日志聚类装置,其特征在于,所述装置包括:

<...

【技术特征摘要】

1.一种日志聚类方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述历史日志流数据输入drain3模型之前,还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述历史日志流数据输入drain3模型,得到每一历史日志数据的日志模板类别,包括:

7.一种日志聚类装...

【专利技术属性】
技术研发人员:徐希岩吴磊巫钢姜鹏王玙璠
申请(专利权)人:中信银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1