本发明专利技术公开了分析日志的方法、装置、设备和计算机可读介质，涉及大数据技术领域。该方法的一具体实施方式包括：根据数据库运行状态参数和运行状态参数的采集时间生成时间窗口的运行特征向量，根据运行日志数据和日志数据的运行时间段生成时间窗口的日志特征向量，以及根据告警记录数据和告警记录数据的采集时间生成时间窗口的告警特征向量；根据所述运行特征向量和所述日志特征向量的相关性，筛选出强相关的运行特征向量和强相关的日志特性向量，并作为模型输入特征；以模型输入特征和时间窗口的告警特征向量，得到日志分析模型；日志分析模型输出所述当前运行日志数据的分析结果。该实施方式能够处理海量且复杂的日志数据，并挖掘深层次的信息。
【技术实现步骤摘要】
本专利技术涉及大数据，尤其涉及一种分析日志的方法、装置、设备和计算机可读介质。
技术介绍
1、在大型系统运行过程中，会产生大量的日志数据，如：web服务器日志、数据库日志、操作系统日志等。这些日志包含了系统运行的大量信息，如异常信息、用户行为等。
2、在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：传统的日志分析方法主要依靠人工分析或者简单的统计分析，无法处理海量、复杂的日志数据，更无法挖掘深层次的信息，在处理复杂和多样化的日志数据时存在一定的局限性。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种分析日志的方法、装置、设备和计算机可读介质，能够处理海量且复杂的日志数据，并挖掘深层次的信息。
2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种分析日志数据的方法，其特征在于，包括：
3、根据数据库运行状态参数和运行状态参数的采集时间生成时间窗口的运行特征向量，根据运行日志数据和日志数据的运行时间段生成时间窗口的日志特征向量，以及根据告警记录数据和告警记录数据的采集时间生成时间窗口的告警特征向量；
4、根据所述时间窗口的运行特征向量和所述时间窗口的日志特征向量的相关性，筛选出强相关的运行特征向量和强相关的日志特性向量，并将所述强相关的运行特征向量和所述强相关的日志特性向量，作为模型输入特征；
5、以所述模型输入特征和所述时间窗口的告警特征向量，训练门控循环单元模型，得到日志分析模型；
6、将当前数据库运行状态参数和当前运行日志数据输入至所述日志分析模型中，所述日志分析模型输出所述当前运行日志数据的分析结果。
7、所述根据数据库运行状态参数和运行状态参数的采集时间，生成时间窗口的运行特征向量，包括：
8、根据所述运行状态参数的采集时间和所述数据库运行状态参数，建立按照连续采集时间排列的状态向量数组；
9、以所述按照连续采集时间排列的状态向量数组的统计参数，作为所述时间窗口的运行特征向量。
10、所述数据库运行状态参数包括以下一种或多种：数据库执行时间、sql执行时间、资源负载参数和延迟分解参数。
11、所述根据运行日志数据和日志数据的运行时间段生成时间窗口的日志特征向量，包括：
12、根据运行日志数据和日志数据的运行时间段生成按照连续时间排列的日志向量数组；
13、在所述日志向量数组中提取日志数据运行时间参数，以生成时间窗口的日志特征向量。
14、所述根据告警记录数据和告警记录数据的采集时间生成时间窗口的告警特征向量，包括：
15、根据告警记录数据和告警记录数据的告警时间生成按照连续时间排列的日志向量数组；
16、根据所述连续时间排列的日志向量数组中告警记录数据的重要性，生成所述时间窗口的告警特征向量。
17、所述根据所述时间窗口的运行特征向量和所述时间窗口的日志特征向量的相关性，筛选出强相关的运行特征向量和强相关的日志特性向量，包括：
18、对所述时间窗口的运行特征向量和所述时间窗口的日志特征向量进行归一化处理，得到归一化的运行特征向量和归一化的日志特征向量；
19、以所述归一化的运行特征向量和所述归一化的日志特征向量确定相关系数，并以所述相关系数和相关阈值筛选出强相关的运行特征向量和强相关的日志特性向量。
20、所述以所述归一化的运行特征向量和所述归一化的日志特征向量确定相关系数，并以所述相关系数和相关阈值筛选出强相关的运行特征向量和强相关的日志特性向量，包括：
21、以所述归一化的运行特征向量和所述归一化的日志特征向量确定相关系数，并以所述相关系数和相关阈值筛选出相关的运行特征向量和相关的日志特性向量；
22、根据所述最大相关系数确定的偏移量，调整所述相关的运行特征向量和所述相关的日志特性向量，得到所述强相关的运行特征向量和所述强相关的日志特性向量。
23、根据本专利技术实施例的第二方面，提供了一种分析日志的装置，包括：
24、特征模块，用于根据数据库运行状态参数和运行状态参数的采集时间生成时间窗口的运行特征向量，根据运行日志数据和日志数据的运行时间段生成时间窗口的日志特征向量，以及根据告警记录数据和告警记录数据的采集时间生成时间窗口的告警特征向量；
25、筛选模块，用于根据所述时间窗口的运行特征向量和所述时间窗口的日志特征向量的相关性，筛选出强相关的运行特征向量和强相关的日志特性向量，并将所述强相关的运行特征向量和所述强相关的日志特性向量，作为模型输入特征；
26、训练模块，用于以所述模型输入特征和所述时间窗口的告警特征向量，训练门控循环单元模型，得到日志分析模型；
27、分析模块，用于将当前数据库运行状态参数和当前运行日志数据输入至所述日志分析模型中，所述日志分析模型输出所述当前运行日志数据的分析结果。
28、根据本专利技术实施例的第三方面，提供了一种分析日志的电子设备，包括：
29、一个或多个处理器；
30、存储装置，用于存储一个或多个程序，
31、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。
32、根据本专利技术实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的方法。
33、根据本专利技术实施例的第五方面，提供了一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现本专利技术实施例提供的如上述的方法。
34、上述专利技术中的一个实施例具有如下优点或有益效果：根据数据库运行状态参数和运行状态参数的采集时间生成时间窗口的运行特征向量，根据运行日志数据和日志数据的运行时间段生成时间窗口的日志特征向量，以及根据告警记录数据和告警记录数据的采集时间生成时间窗口的告警特征向量；根据所述时间窗口的运行特征向量和所述时间窗口的日志特征向量的相关性，筛选出强相关的运行特征向量和强相关的日志特性向量，并将所述强相关的运行特征向量和所述强相关的日志特性向量，作为模型输入特征；以所述模型输入特征和所述时间窗口的告警特征向量，训练门控循环单元模型，得到日志分析模型；将当前数据库运行状态参数和当前运行日志数据输入至所述日志分析模型中，所述日志分析模型输出所述当前运行日志数据的分析结果。通过特征向量训练得到日志分析模型，日志分析模型在处理处理海量且复杂的日志数据同时，还可以输出当前运行日志数据的分析结果，上述分析结果包括日志分析模型挖掘出深层次的信息，继而确定告警的可能性。
35、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
本文档来自技高网...
【技术保护点】
1.一种分析日志数据的方法，其特征在于，包括：
2.根据权利要求1所述分析日志数据的方法，其特征在于，所述根据数据库运行状态参数和运行状态参数的采集时间，生成时间窗口的运行特征向量，包括：
3.根据权利要求1所述分析日志数据的方法，其特征在于，所述数据库运行状态参数包括以下一种或多种：数据库执行时间、SQL执行时间、资源负载参数和延迟分解参数。
4.根据权利要求1所述分析日志数据的方法，其特征在于，所述根据运行日志数据和日志数据的运行时间段生成时间窗口的日志特征向量，包括：
5.根据权利要求1所述分析日志数据的方法，其特征在于，所述根据告警记录数据和告警记录数据的采集时间生成时间窗口的告警特征向量，包括：
6.根据权利要求1所述分析日志数据的方法，其特征在于，所述根据所述时间窗口的运行特征向量和所述时间窗口的日志特征向量的相关性，筛选出强相关的运行特征向量和强相关的日志特性向量，包括：
7.根据权利要求6所述分析日志数据的方法，其特征在于，所述以所述归一化的运行特征向量和所述归一化的日志特征向量确定相关系数，并以所述相关系数和相关阈值筛选出强相关的运行特征向量和强相关的日志特性向量，包括：
8.一种分析日志的装置，其特征在于，包括：
9.一种分析日志的电子设备，其特征在于，包括：
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
...
【技术特征摘要】
1.一种分析日志数据的方法，其特征在于，包括：
2.根据权利要求1所述分析日志数据的方法，其特征在于，所述根据数据库运行状态参数和运行状态参数的采集时间，生成时间窗口的运行特征向量，包括：
3.根据权利要求1所述分析日志数据的方法，其特征在于，所述数据库运行状态参数包括以下一种或多种：数据库执行时间、sql执行时间、资源负载参数和延迟分解参数。
4.根据权利要求1所述分析日志数据的方法，其特征在于，所述根据运行日志数据和日志数据的运行时间段生成时间窗口的日志特征向量，包括：
5.根据权利要求1所述分析日志数据的方法，其特征在于，所述根据告警记录数据和告警记录数据的采集时间生成时间窗口的告警特征向量，包括：
6.根据权利要求1所述分析日志数据的方法，其特征在于，所...
【专利技术属性】
技术研发人员：陈琼，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。