日志处理方法、装置及电子设备制造方法及图纸

本申请公开了一种日志处理方法、装置及电子设备。其中，该方法包括：通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测多个日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量；在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。本申请解决了现有技术中日志处理效率低的技术问题。志处理效率低的技术问题。志处理效率低的技术问题。

【技术实现步骤摘要】
日志处理方法、装置及电子设备


[0001]本申请涉及日志处理领域，具体而言，涉及一种日志处理方法、装置及电子设备。

技术介绍

[0002]现有技术中日志服务器在处理系统日志时，如果待处理日志的数量较多，则日志服务器可能无法及时对所有的待处理日志进行处理。在此基础上，通常只能在运维人员主动发现日志服务器的负载较高时，才会手动调用其他服务器协助日志服务器处理待处理日志。
[0003]但是，由于运维人员不可能随时检测到日志服务器的负载状况，因此，备用服务器的介入及时性往往无法得到有效的保证，从而导致了系统日志处理效率较低的问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种日志处理方法、装置及电子设备，以至少解决现有技术中日志处理效率低的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种日志处理方法，包括：通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测多个日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量；在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。
[0007]进一步地，日志处理方法还包括：对每个日志进行格式统一化处理，得到多个第一日志，其中，每个第一日志的报文头的格式为目标报文头格式，每个第一日志的报文体的格式为目标报文体格式，报文头至少包含第一日志对应的功能描述信息，报文体至少包含第一日志对应的业务逻辑信息；识别每个第一日志中的敏感信息，并对敏感信息进行加密，得到多个第二日志，其中，敏感信息至少包括用户隐私信息；识别多个第二日志中的冗余日志，并从多个第二日志中去除冗余日志，得到至少一个目标日志，其中，冗余日志为多个第二日志中的异常日志或重复日志。
[0008]进一步地，日志处理方法还包括：检测多个第二日志中是否存在缺失目标标识字段的异常日志，其中，目标标识字段用于表征每个第二日志的唯一标识；在多个第二日志中存在异常日志的情况下，确定异常日志为冗余日志。
[0009]进一步地，日志处理方法还包括：检测每个第二日志是否为待配对日志，其中，待配对日志为需要与关联日志进行配对的日志，关联日志与待配对日志之间存在预设关联关系；在第二日志为待配对日志的情况下，检测第二日志是否配对成功；在第二日志配对失败的情况下，确定第二日志为冗余日志。
[0010]进一步地，日志处理方法还包括：检测多个第二日志中是否存在至少两个第三日志，其中，至少两个第三日志之间具有相同的目标日志信息，目标日志信息为第三日志的日
志信息中除日志生成时间之外的信息；在多个第二日志中存在至少两个第三日志的情况下，根据每个第三日志的日志生成时间对至少两个第三日志进行排序，得到排序结果；根据排序结果从至少两个第三日志中确定至少一个第四日志，并确定第四日志为冗余日志。
[0011]进一步地，日志处理方法还包括：在检测多个日志的数量是否大于目标阈值之前，获取日志服务器在目标历史时间段内处理的多个历史日志，其中，目标历史时间段由多个历史子时间段组成，每个历史子时间段与多个历史日志中的至少一个历史日志相对应，每个历史子时间段的时长与预设时间段的时长相同；统计每个历史子时间段对应的历史日志数量；根据每个历史子时间段对应的历史日志数量确定每个历史子时间段对应的阈值。
[0012]进一步地，日志处理方法还包括：从多个历史子时间段中确定与预设时间段相对应的目标历史子时间段，其中，目标历史子时间段与预设时间段为不同时间周期下起始时刻和终止时刻相同的两个时间段；确定目标历史子时间段对应的阈值为目标阈值，并检测多个日志的数量是否大于目标阈值。
[0013]进一步地，日志处理方法还包括：在通过日志服务器获取目标系统在预设时间段内生成的多个日志之后，获取日志服务器的内存使用率；检测内存使用率是否大于预设阈值；在内存使用率大于预设阈值的情况下，从服务器集群中调用至少一个备用服务器与日志服务器处理多个日志。
[0014]根据本申请实施例的另一方面，还提供了一种日志处理装置，包括：获取模块，用于通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测模块，用于检测多个日志的数量是否大于目标阈值，其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量；调用模块，用于在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。
[0015]根据本申请实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的日志处理方法。
[0016]在本申请中，采用在检测到日志的数量大于目标阈值时，自动调用备用服务器协助日志服务器处理日志的方式，通过日志服务器获取目标系统在预设时间段内生成的多个日志，然后检测多个日志的数量是否大于目标阈值，在多个日志的数量大于目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个备用服务器与日志服务器处理多个日志。其中，目标阈值表征日志服务器在当前负载情况下所能处理的最大日志数量。
[0017]由上述内容可知，本申请通过检测日志服务器接收到的日志的数量，并在日志数量大于目标阈值时，自动调用备用服务器协助日志服务器处理日志，由于整个过程无需人工参与，因此不仅降低了人工人本，还能提高备用服务器的调用及时性，从而实现了提高日志处理效率的技术效果。
[0018]由此可见，本申请的技术方案达到了在日志服务器接收到的日志数量过多时，自动调用备用服务器协助日志服务器处理日志的目的，从而实现了提高备用服务器参与处理日志的及时率的技术效果，进而解决了现有技术中日志处理效率低的技术问题。
附图说明
[0019]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0020]图1是根据本申请实施例的一种可选的日志处理方法的流程图；
[0021]图2是根据历史日志确定每个历史子时间段对应的阈值的方法流程图；
[0022]图3是根据本申请实施例的一种可选的确定目标阈值的方法流程图；
[0023]图4是根据本申请实施例的一种可选的日志处理过程的流程图；
[0024]图5是根据本申请实施例的一种可选的日志处理装置的示意图；
[0025]图6是根据本申请实施例的一种可选的电子设备的示意图。
具体实施方式
[0026]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：通过日志服务器获取目标系统在预设时间段内生成的多个日志；检测多个所述日志的数量是否大于目标阈值，其中，所述目标阈值表征所述日志服务器在当前负载情况下所能处理的最大日志数量；在多个所述日志的数量大于所述目标阈值的情况下，从服务器集群中调用至少一个备用服务器，并控制至少一个所述备用服务器与所述日志服务器处理多个所述日志。2.根据权利要求1所述的方法，其特征在于，控制至少一个所述备用服务器与所述日志服务器处理多个所述日志，包括：对每个所述日志进行格式统一化处理，得到多个第一日志，其中，每个所述第一日志的报文头的格式为目标报文头格式，每个所述第一日志的报文体的格式为目标报文体格式，所述报文头至少包含所述第一日志对应的功能描述信息，所述报文体至少包含所述第一日志对应的业务逻辑信息；识别每个所述第一日志中的敏感信息，并对所述敏感信息进行加密，得到多个第二日志，其中，所述敏感信息至少包括用户隐私信息；识别多个所述第二日志中的冗余日志，并从多个所述第二日志中去除所述冗余日志，得到至少一个目标日志，其中，所述冗余日志为多个所述第二日志中的异常日志或重复日志。3.根据权利要求2所述的方法，其特征在于，识别多个所述第二日志中的冗余日志，包括：检测多个所述第二日志中是否存在缺失目标标识字段的异常日志，其中，所述目标标识字段用于表征每个所述第二日志的唯一标识；在多个所述第二日志中存在所述异常日志的情况下，确定所述异常日志为所述冗余日志。4.根据权利要求2所述的方法，其特征在于，识别多个所述第二日志中的冗余日志，包括：检测每个所述第二日志是否为待配对日志，其中，所述待配对日志为需要与关联日志进行配对的日志，所述关联日志与所述待配对日志之间存在预设关联关系；在所述第二日志为所述待配对日志的情况下，检测所述第二日志是否配对成功；在所述第二日志配对失败的情况下，确定所述第二日志为所述冗余日志。5.根据权利要求2所述的方法，其特征在于，识别多个所述第二日志中的冗余日志，包括：检测多个所述第二日志中是否存在至少两个第三日志，其中，至少两个所述第三日志之间具有相同的目标日志信息，所述目标日志信息为所述第三日志的日志信息中除日志生成时间之外的信息；在多个所述第二日志中存在至少两个所述第三日志的情况下，...

【专利技术属性】
技术研发人员：丁涛，张树刚，
申请(专利权)人：吉林亿联银行股份有限公司，
类型：发明
国别省市：