System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 针对多应用系统的日志分析模型训练方法及装置制造方法及图纸_技高网

针对多应用系统的日志分析模型训练方法及装置制造方法及图纸

技术编号:40451302 阅读:5 留言:0更新日期:2024-02-22 23:10
本申请涉及一种针对多应用系统的日志分析模型训练方法及装置。所述方法包括:从至少一个应用系统的样本日志数据中,提取得到正常样本日志数据及异常样本日志数据;根据各应用系统的正常样本日志数据及异常样本日志数据,确定各应用系统之间的关联关系;根据各应用系统之间的关联关系及样本日志数据,训练得到日志分析模型,其中,日志分析模型由多个子模型组成,每个子模型对应至少一个应用系统,且针对任一子模型,子模型对应的各应用系统互相之间存在直接关联关系或者间接关联关系。采用本方法能够提高在总系统包括多个应用系统的环境下,针对总系统的系统状态预测精度。

【技术实现步骤摘要】

本申请涉及大数据,特别是涉及一种针对多应用系统的日志分析模型训练方法及装置


技术介绍

1、随着企业和社会对信息化的依赖程度不断增加,一个大系统中包含多种应用系统的情况越来越广泛。这些应用系统可能包括操作系统、数据库、app(application,应用)、web(网页)等。每个应用系统都会产生大量的日志数据,这些数据包含了应用系统的运行状态、异常情况等信息。

2、然而,由于各应用系统的日志数据格式不同、难以确定各应用系统在整个系统中的权重等原因,传统的日志分析方法只能针对每个应用系统的日志数据进行单独分析,而无法有效地将各个应用系统的日志数据联合起来进行分析,进而导致只能根据日志数据所展示的单个应用系统的系统状态来判断整个系统的系统状态,导致系统状态判断精度较低。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种针对多应用系统的日志分析模型训练方法及装置。

2、第一方面,本申请提供了一种针对多应用系统的日志分析模型训练方法。

3、所述方法包括:

4、从至少一个应用系统的样本日志数据中,提取得到正常样本日志数据及异常样本日志数据;

5、根据各所述应用系统的正常样本日志数据及异常样本日志数据,确定各所述应用系统之间的关联关系;

6、根据各所述应用系统之间的关联关系及所述样本日志数据,训练得到日志分析模型,其中,所述日志分析模型由多个子模型组成,每个所述子模型对应至少一个所述应用系统,且针对任一所述子模型,所述子模型对应的各所述应用系统互相之间存在直接关联关系或者间接关联关系。

7、在其中一个实施例中,所述根据各所述应用系统之间的关联关系及所述样本日志数据,训练得到日志分析模型,包括:

8、针对每两个之间具有关联关系的所述应用系统,确定两个所述应用系统之间的关联关系值;

9、根据各所述应用系统之间的关联关系值,确定至少一个应用系统组,所述应用系统组对应的组关联关系值大于预设关联关系值阈值,所述组关联关系值是根据所述应用系统组中,各所述应用系统之间的关联关系值确定的;

10、针对任一所述应用系统组,根据所述应用系统组中各所述应用系统对应的所述样本日志数据,训练得到所述应用系统组对应的子模型。

11、在其中一个实施例中,所述根据各所述应用系统之间的关联关系值,确定至少一个应用系统组,包括:

12、遍历各所述应用系统,针对当前遍历到的目标应用系统,确定所述目标应用系统在当前的各所述应用系统组中对应的第一目标应用系统组,并确定所述目标应用系统针对各所述第一目标应用系统组的预期组关联关系值,所述预期组关联关系值用于表征在所述目标应用系统加入所述第一目标应用系统组后,所述第一目标应用系统组将具有的所述组关联关系值,所述第一目标应用系统组中的至少一个所述应用系统与所述目标应用系统之间存在直接关联关系或者间接关联关系;

13、根据所述目标应用系统针对各所述第一目标应用系统组的所述预期组关联关系值及所述预设关联关系值阈值,确定所述目标应用系统对应的第二目标应用系统组,并通过所述目标应用系统对所述第二目标应用系统组进行更新。

14、在其中一个实施例中,所述根据所述目标应用系统针对各所述第一目标应用系统组的所述预期组关联关系值及所述预设关联关系值阈值,确定所述目标应用系统对应的第二目标应用系统组,包括:

15、针对任一所述第一目标应用系统组,在所述第一目标应用系统组的所述预期组关联关系值大于所述预设关联关系值阈值的情况下,将所述第一目标应用系统组作为候选应用系统组;

16、在存在所述候选应用系统组的情况下,从各所述候选应用系统组中确定第二目标应用系统组;或者,

17、在不存在所述候选应用系统组的情况下,建立新应用系统组,并将所述新应用系统组作为所述第二目标应用系统组。

18、在其中一个实施例中,所述从至少一个应用系统的样本日志数据中,提取得到正常样本日志数据及异常样本日志数据,包括:

19、通过异常检测算法对各所述应用系统的样本日志数据进行异常检测处理,得到异常样本日志数据;

20、将各所述样本日志数据中,不属于所述异常样本日志数据的所述样本日志数据,作为正常样本日志数据。

21、在其中一个实施例中,所述根据各所述应用系统的正常样本日志数据及异常样本日志数据,确定各所述应用系统之间的关联关系,包括:

22、针对任意两个所述应用系统,根据两个所述应用系统的所述正常样本日志数据的出现时间序列、所述异常样本日志数据的出现时间序列、所述样本日志数据的文本内容中的至少一项,确定两个所述应用系统之间的关联关系。

23、在其中一个实施例中,所述方法还包括:

24、从至少一个所述应用系统中,提取得到应用日志数据;

25、通过所述日志分析模型对所述应用日志数据进行解析,得到所述应用日志数据对应的系统状态。

26、第二方面,本申请还提供了一种针对多应用系统的日志分析模型训练装置。所述装置包括:

27、第一提取模块,用于从至少一个应用系统的样本日志数据中,提取得到正常样本日志数据及异常样本日志数据;

28、确定模块,用于根据各所述应用系统的正常样本日志数据及异常样本日志数据,确定各所述应用系统之间的关联关系;

29、训练模块,用于根据各所述应用系统之间的关联关系及所述样本日志数据,训练得到日志分析模型,其中,所述日志分析模型由多个子模型组成,每个所述子模型对应至少一个所述应用系统,且针对任一所述子模型,所述子模型对应的各所述应用系统互相之间存在直接关联关系或者间接关联关系。

30、在其中一个实施例中,所述训练模块,还用于:

31、针对每两个之间具有关联关系的所述应用系统,确定两个所述应用系统之间的关联关系值;

32、根据各所述应用系统之间的关联关系值,确定至少一个应用系统组,所述应用系统组对应的组关联关系值大于预设关联关系值阈值,所述组关联关系值是根据所述应用系统组中,各所述应用系统之间的关联关系值确定的;

33、针对任一所述应用系统组,根据所述应用系统组中各所述应用系统对应的所述样本日志数据,训练得到所述应用系统组对应的子模型。

34、在其中一个实施例中,所述训练模块,还用于:

35、遍历各所述应用系统,针对当前遍历到的目标应用系统,确定所述目标应用系统在当前的各所述应用系统组中对应的第一目标应用系统组,并确定所述目标应用系统针对各所述第一目标应用系统组的预期组关联关系值,所述预期组关联关系值用于表征在所述目标应用系统加入所述第一目标应用系统组后,所述第一目标应用系统组将具有的所述组关联关系值,所述第一目标应用系统组中的至少一个所述应用系统与所述目标应用系统之间存在直接关联关系或者间接关联关系;

36、根据所述目标应用系本文档来自技高网...

【技术保护点】

1.一种针对多应用系统的日志分析模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据各所述应用系统之间的关联关系及所述样本日志数据,训练得到日志分析模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各所述应用系统之间的关联关系值,确定至少一个应用系统组,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述目标应用系统针对各所述第一目标应用系统组的所述预期组关联关系值及所述预设关联关系值阈值,确定所述目标应用系统对应的第二目标应用系统组,包括:

5.根据权利要求1所述的方法,其特征在于,所述从至少一个应用系统的样本日志数据中,提取得到正常样本日志数据及异常样本日志数据,包括:

6.根据权利要求1所述的方法,其特征在于,所述根据各所述应用系统的正常样本日志数据及异常样本日志数据,确定各所述应用系统之间的关联关系,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种针对多应用系统的日志分析模型训练装置,其特征在于,所述装置包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种针对多应用系统的日志分析模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据各所述应用系统之间的关联关系及所述样本日志数据,训练得到日志分析模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各所述应用系统之间的关联关系值,确定至少一个应用系统组,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述目标应用系统针对各所述第一目标应用系统组的所述预期组关联关系值及所述预设关联关系值阈值,确定所述目标应用系统对应的第二目标应用系统组,包括:

5.根据权利要求1所述的方法,其特征在于,所述从至少一个应用系统的样本日志数据中,提取得到正常样本日志数据及异常样本日志数据,包括:

6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员:赵华健田洁郑钧元崔晓欣
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1