System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 日志关联分析方法、装置、电子设备、芯片及介质制造方法及图纸_技高网

日志关联分析方法、装置、电子设备、芯片及介质制造方法及图纸

技术编号:40460266 阅读:6 留言:0更新日期:2024-02-22 23:15
本公开提供一种日志关联分析方法、装置、电子设备、芯片及介质,涉及数据处理技术领域,该方法包括:通过聚类算法对多个日志数据进行聚类处理,生成日志归类数据集,日志归类数据集包括多个日志数据对应的多个日志模板;利用关联分析算法,获取日志归类数据集中与异常日志数据在同一切分项集的多个频繁项集对应的多个强关联规则,多个强关联规则是指满足预设条件的多个频繁项集中多个日志数据之间关联关系,预设条件包括大于或等于预设支持度阈值和预设置信度阈值;将多个强关联规则推送至用户,并将多个强关联规则存储至历史关联规则库,能够快速获取日志数据之间的关联关系,为用户提供异常问题对应的关联日志数据,提高日志分析的效率。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及一种日志关联分析方法、装置、电子设备、芯片及介质


技术介绍

1、随着云原生概念的迅速发展、微服务技术的如火如荼。在微服务系统中,应用服务众多,服务之间的调用关系也是错综复杂,当某一环服务出现问题时,运维或开发人员难以快速、精准的从海量日志中定位和排查问题。因此在微服务系统环境中,运维或开发人员急需一种更为高效便捷的问题查找和定位的工具。


技术实现思路

1、本公开提供一种日志关联分析方法、装置、电子设备、芯片及介质,以解决相关技术中的问题,通过使用关联分析关系算法生成强关联规则,并将强关联规则推送至用户,能够快速获取日志数据之间的关联关系,从而为用户提供异常问题对应的关联日志数据,提高日志分析的效率。

2、本公开的第一方面实施例提出了一种日志关联分析方法,该方法包括:通过聚类算法对多个日志数据进行聚类处理,生成日志归类数据集,日志归类数据集包括多个日志数据对应的多个日志模板;利用关联分析算法,获取日志归类数据集中与异常日志数据在同一切分项集的多个频繁项集对应的多个强关联规则,多个强关联规则是指满足预设条件的多个频繁项集中多个日志数据之间关联关系,预设条件包括大于或等于预设支持度阈值和预设置信度阈值;将多个强关联规则推送至用户,并将多个强关联规则存储至历史关联规则库。

3、在本公开的一些实施例中,通过聚类算法对多个日志数据进行聚类处理,生成日志归类数据集,日志归类数据集包括多个日志数据对应的多个日志模板包括:通过聚类算法,对多个日志数据进行聚类处理,获取多个日志数据中的词频列表;基于词频列表,将日志数据插入预先建立的前缀树节点中,获取多个日志数据对应的前缀树森林;基于前缀树森林,提取多个日志数据中的最长公共子序列;基于最长公共子序列,生成多个日志模板,并基于多个日志模板,生成日志归类数据集。

4、在本公开的一些实施例中,利用关联分析算法,获取日志归类数据集中与异常日志数据在同一切分项集的多个频繁项集对应的多个强关联规则包括:基于多个预设周期,对日志归类数据集进行切分处理,获取切分后的多个切分项集;通过关联分析算法,确定与异常日志数据在同一切分项集中的多个频繁项集;确定多个频繁项集对应的多个强关联规则。

5、在本公开的一些实施例中,确定多个频繁项集对应的多个强关联规则包括:确定多个频繁项集对应的置信度和支持度;确定支持度大于或等于预设支持度阈值,且置信度大于或等于预设置信度阈值的多个频繁项集对应的多个强关联规则。

6、在本公开的一些实施例中,将多个强关联规则推送至用户,并将多个强关联规则存储至历史关联规则库包括:基于多个强关联规则,分别确定每个强关联规则的接受度;基于接受度,确定每个强关联规则中多个日志数据的关联认可评分;基于关联认可评分,对多个强关联规则进行评分;基于评分,对多个强关联规则进行排序,并将排序后的多个强关联规则推送至用户,并将排序后的多个强关联规则存储至历史关联规则库。

7、在本公开的一些实施例中,基于评分,对多个强关联规则进行排序,并将排序后的多个强关联规则推送至用户,并将排序后的多个强关联规则存储至历史关联规则库包括:若排序后的强关联规则的规则数小于预设规则数则基于历史关联规则库对强关联规则进行补充,将补充后的强关联规则推送至用户,并将补充后的强关联规则存储至历史关联规则库中。

8、在本公开的一些实施例中,将强关联规则推送至用户,并将强关联规则存储至历史关联规则库,之后还包括:基于存储后的历史关联规则库,确定第一日志数据对应的第一强关联规则中的第一关联认可评分,并将关联认可评分以及第一强关联规则推送至用户。

9、本公开的第二方面实施例提出了一种日志关联分析装置,该装置包括:生成单元,用于通过聚类算法对多个日志数据进行聚类处理,生成日志归类数据集,日志归类数据集包括多个日志数据对应的多个日志模板;获取单元,用于利用关联分析算法,获取日志归类数据集中与异常日志数据在同一切分项集的多个频繁项集对应的多个强关联规则,多个强关联规则是指满足预设条件的多个频繁项集中多个日志数据之间关联关系,预设条件包括大于或等于预设支持度阈值和预设置信度阈值;推送单元,用于将多个强关联规则推送至用户,并将多个强关联规则存储至历史关联规则库。

10、本公开的第三方面实施例提出了一种电子设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,处理器用于运行计算机程序时,执行本公开第一方面实施例中描述的方法。

11、本公开的第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开第一方面实施例中描述的方法。

12、本公开的第五方面实施例提出了一种芯片,该芯片包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令,当处理器执行计算机指令时,使得电子设备执行本公开第一方面实施例中描述的方法。

13、综上,根据本公开提出的日志关联分析方法,通过聚类算法对多个日志数据进行聚类处理,生成日志归类数据集,日志归类数据集包括多个日志数据对应的多个日志模板;利用关联分析算法,获取日志归类数据集中与异常日志数据在同一切分项集的多个频繁项集对应的多个强关联规则,多个强关联规则是指满足预设条件的多个频繁项集中多个日志数据之间关联关系,预设条件包括大于或等于预设支持度阈值和预设置信度阈值;将多个强关联规则推送至用户,并将多个强关联规则存储至历史关联规则库,能够快速获取日志数据之间的关联关系,从而为用户提供异常问题对应的关联日志数据,提高日志分析的效率。

14、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

本文档来自技高网...

【技术保护点】

1.一种日志关联分析方法,其特征在于,所述所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过聚类算法对多个日志数据进行聚类处理,生成日志归类数据集,所述日志归类数据集包括多个日志数据对应的多个日志模板包括:

3.根据权利要求1所述的方法,其特征在于,所述利用关联分析算法,获取所述日志归类数据集中与异常日志数据在同一切分项集的多个频繁项集对应的多个强关联规则包括:

4.根据权利要求3所述的方法,其特征在于,所述确定所述多个频繁项集对应的多个强关联规则包括:

5.根据权利要求1所述的方法,其特征在于,所述将所述多个强关联规则推送至用户,并将所述多个强关联规则存储至历史关联规则库包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述评分,对所述多个强关联规则进行排序,并将排序后的多个强关联规则推送至用户,并将所述排序后的多个强关联规则存储至历史关联规则库包括:

7.根据权利要求6中所述的方法,其特征在于,所述将所述强关联规则推送至用户,并将所述强关联规则存储至历史关联规则库,之后还包括:p>

8.一种日志关联分析装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,

10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

11.一种芯片,其特征在于,包括一个或多个接口电路和一个或多个处理器;所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令,当所述处理器执行所述计算机指令时,使得所述电子设备执行权利要求1-7中任一项所述的方法。

...

【技术特征摘要】

1.一种日志关联分析方法,其特征在于,所述所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过聚类算法对多个日志数据进行聚类处理,生成日志归类数据集,所述日志归类数据集包括多个日志数据对应的多个日志模板包括:

3.根据权利要求1所述的方法,其特征在于,所述利用关联分析算法,获取所述日志归类数据集中与异常日志数据在同一切分项集的多个频繁项集对应的多个强关联规则包括:

4.根据权利要求3所述的方法,其特征在于,所述确定所述多个频繁项集对应的多个强关联规则包括:

5.根据权利要求1所述的方法,其特征在于,所述将所述多个强关联规则推送至用户,并将所述多个强关联规则存储至历史关联规则库包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述评分,对所述多个强关联规则进行排序,并将排序后的多个强关联规则推送至用户,并将所...

【专利技术属性】
技术研发人员:仇明王琦黄新安
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1