System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 日志处理方法、电子设备及计算机存储介质技术_技高网

日志处理方法、电子设备及计算机存储介质技术

技术编号:39944386 阅读:4 留言:0更新日期:2024-01-08 22:48
本公开提供一种日志处理方法,所述方法包括:基于历史日志流确定正常日志控制流图,其中,所述历史日志流是在系统正常运行的情况下生成的;基于当前日志流确定当前日志控制流图;根据所述正常日志控制流图和所述当前日志控制流图,确定所述当前日志控制流图中的日志打印的初始目的节点;根据预设过滤算法对所述日志打印的初始目的节点进行过滤,以确定日志打印的最终目的节点。自动发现异常并确定出可以用于推断故障根因的关键日志信息,无需人工先验知识即可实现自动化日志增强,提高日志质量,有助于提升故障诊断的效率和准确性。本公开还提供一种电子设备及计算机存储介质。

【技术实现步骤摘要】

本专利技术涉及日志,具体涉及一种日志处理方法、一种电子设备及一种计算机存储介质。


技术介绍

1、随着人工智能(artificial intelligence,ai)的发展,智能运维(artificialintelligence for it operations,aiops)于2016年被gartner首次提出,即通过机器学习(machine learning)等算法分析来自于多种运维工具和设备的大规模数据,自动发现并实时响应系统出现的问题,进而提升信息技术(information technology,it)运维能力和自动化程度。在aiops趋势下,以系统日志的数据分析为核心的自动化、智能化的故障诊断成为分布式软件系统故障诊断技术的重要组成部分和发展趋势。

2、目前,尽管系统日志在故障诊断技术中得到了广泛的应用,但开发人员编写的日志是为人类设计,而不是为机器设计以自动检测异常并诊断故障,这就使得许多可以用于推断故障根因的关键日志信息丢失,日志的这种特性严重影响了自动化、智能化的故障诊断技术的性能。虽然目前存在着例如增加额外变量或在错误可能发生的位置添加日志打印点等用于提高日志质量的日志增强技术,但这类日志增强技术的目的是增强开发者对日志的理解能力,而不是用于自动化、智能化的故障诊断,并且这类日志增强技术还需要大量的人工先验知识。因此,亟需一种无需人工先验知识的自动化日志增强方法。


技术实现思路

1、本公开针对现有技术中存在的上述不足,提供一种一种日志处理方法、一种电子设备及一种计算机存储介质。

2、第一方面,本公开实施例提供一种日志处理方法,所述方法包括:

3、基于历史日志流确定正常日志控制流图,其中,所述历史日志流是在系统正常运行的情况下生成的;

4、基于当前日志流确定当前日志控制流图;

5、根据所述正常日志控制流图和所述当前日志控制流图,确定所述当前日志控制流图中的日志打印的初始目的节点;

6、根据预设过滤算法对所述日志打印的初始目的节点进行过滤,以确定日志打印的最终目的节点。

7、在一些实施例中,基于日志流确定日志控制流图的步骤包括:

8、将所述日志流中的各日志项均转化为日志模板;

9、确定各个日志模板对中的两个日志模板之间的边权,其中,所述日志模板对包括对应于同一请求的两个日志模板;

10、将各个所述日志模板作为节点,并根据各所述边权构建相应两个日志模板之间的转移边,以获得所述日志控制流图。

11、在一些实施例中,所述根据所述正常日志控制流图和所述当前日志控制流图,确定所述当前日志控制流图中的日志打印的初始目的节点包括:

12、将所述正常日志控制流图和所述当前日志控制流图,按照节点进行匹配;

13、根据所述当前日志控制流图中匹配异常的节点确定所述日志打印的初始目的节点。

14、在一些实施例中,所述将所述正常日志控制流图和所述当前日志控制流图,按照节点进行匹配,包括:

15、将所述正常日志控制流图中的节点与所述当前日志控制流图中的节点进行两两匹配,确定出匹配节点组,各所述匹配节点组均包括所述正常日志控制流图中的一个正常节点对、以及所述当前日志控制流图中的一个当前节点对,各所述匹配节点组中的所述正常节点对与所述当前节点对相匹配;

16、比较各个所述匹配节点组中的所述正常节点对之间的边权与所述当前节点对之间的边权;

17、当所述当前节点对之间的边权大于所述正常节点对之间的边权时,将当前的匹配节点组中的所述当前节点对确定为所述匹配异常的节点。

18、在一些实施例中,所述根据所述当前日志控制流图中匹配异常的节点确定所述日志打印的初始目的节点包括:

19、在所述当前日志控制流图中的节点不与所述正常日志控制流图中的任意节点相匹配的情况下,将该当前日志控制流图中的节点确定为所述日志打印的初始目的节点。

20、在一些实施例中,所述根据所述当前日志控制流图中匹配异常的节点确定所述日志打印的初始目的节点包括:

21、在所述当前日志控制流图中的父节点与所述正常日志控制流图中的父节点相匹配,且该当前日志控制流图中的父节点之后的子节点均不与该正常日志控制流图中的父节点之后的子节点相匹配的情况下,将该当前日志控制流图中的父节点及其之后的子节点确定为所述日志打印的初始目的节点。

22、在一些实施例中,所述将所述日志流中的各日志项均转化为日志模板包括:

23、响应于接收到转换指令,将各所述日志项中的变量替换为占位符,根据替换后的各所述日志项生成所述日志模板。

24、在一些实施例中,所述对于任意两个对应于同一请求的所述日志模板,确定该两个日志模板之间的边权,包括:

25、确定所述该两个日志模板的各生成时间间隔;

26、根据所述各生成时间间隔中的最大值确定所述该两个日志模板之间的边权。

27、在一些实施例中,所述根据预设过滤算法对所述日志打印的初始目的节点进行过滤,以确定日志打印的最终目的节点包括:

28、根据当前的系统故障信息和所述日志打印的初始目的节点,构建复合矩阵;

29、利用所述预设过滤算法和所述复合矩阵确定所述日志打印的最终目的节点。

30、在一些实施例中,所述根据当前的系统故障信息和所述日志打印的初始目的节点,构建复合矩阵包括:

31、根据所述当前的系统故障信息构建标签向量f={f1,f2,f3,…fm},其中,m表示系统故障的总数量,fm表示第m个系统故障;

32、根据所述日志打印的初始目的节点构建向量t=t1,t2,t3,…tn},其中,n表示所述日志打印的初始目的节点的总数量,tn表示第n个日志打印的初始目的节点;

33、根据所述f和所述t构建关联关系矩阵m,其中,所述m中的元素

34、

35、根据所述f和所述m构建所述复合矩阵d,其中,

36、第二方面,本公开实施提供一种电子设备,包括:

37、一个或多个处理器;

38、存储装置,其上存储有一个或多个程序;

39、当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前所述的日志处理方法。

40、第三方面,本公开实施提供一种计算机存储介质,其上存储有计算机程序,其中,所述程序被执行时实现如前所述的日志处理方法。

41、通过基于在系统正常运行的情况下生成的历史日志流确定正常日志控制流图,基于当前日志流确定当前日志控制流图,根据所述正常日志控制流图和所述当前日志控制流图,确定所述当前日志控制流图中的日志打印的初始目的节点,根据预设过滤算法对所述日志打印的初始目的节点进行过滤,以确定日志打印的最终目的节点,自动发现异常并确定出可以用于推断故障根因的关键日志信息,无需人工本文档来自技高网...

【技术保护点】

1.一种日志处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,基于日志流确定日志控制流图的步骤包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述正常日志控制流图和所述当前日志控制流图,确定所述当前日志控制流图中的日志打印的初始目的节点包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述正常日志控制流图和所述当前日志控制流图,按照节点进行匹配,包括:

5.根据权利要求3所述的方法,其特征在于,所述根据所述当前日志控制流图中匹配异常的节点确定所述日志打印的初始目的节点包括:

6.根据权利要求3所述的方法,其特征在于,所述根据所述当前日志控制流图中匹配异常的节点确定所述日志打印的初始目的节点包括:

7.根据权利要求2所述的方法,其特征在于,所述将所述日志流中的各日志项均转化为日志模板包括:

8.根据权利要求2所述的方法,其特征在于,所述对于任意两个对应于同一请求的所述日志模板,确定该两个日志模板之间的边权,包括:

9.根据权利要求1-8任一项所述的方法,其特征在于,所述根据预设过滤算法对所述日志打印的初始目的节点进行过滤,以确定日志打印的最终目的节点包括:

10.根据权利要求9所述的方法,其特征在于,所述根据当前的系统故障信息和所述日志打印的初始目的节点,构建复合矩阵包括:

11.一种电子设备,包括:

12.一种计算机存储介质,其上存储有计算机程序,其中,所述程序被执行时实现如权利要求1-10任一项所述的日志处理方法。

...

【技术特征摘要】

1.一种日志处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,基于日志流确定日志控制流图的步骤包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述正常日志控制流图和所述当前日志控制流图,确定所述当前日志控制流图中的日志打印的初始目的节点包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述正常日志控制流图和所述当前日志控制流图,按照节点进行匹配,包括:

5.根据权利要求3所述的方法,其特征在于,所述根据所述当前日志控制流图中匹配异常的节点确定所述日志打印的初始目的节点包括:

6.根据权利要求3所述的方法,其特征在于,所述根据所述当前日志控制流图中匹配异常的节点确定所述日志打印的初始目的节点包括:...

【专利技术属性】
技术研发人员:韩静张百胜龚子璨李影贾统吴一凡侯传嘉
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1