日志处理方法、装置、存储介质及电子设备制造方法及图纸

本发明专利技术提供了一种日志处理方法、装置、存储介质及电子设备，该方法包括：对节点中的各个软件的日志文件夹进行检测；在检测到日志文件夹中包括日志文件的情况下，生成软件对应的日志采集任务，并将日志采集任务放入任务队列中，日志采集任务至少包括该软件的日志文件列表；响应于采集指令，在任务队列的各个日志采集任务中确定当前待执行的目标日志采集任务；根据已采集文件列表以及目标日志采集任务中的日志文件列表，确定目标日志采集任务所对应的软件的日志文件夹中是否存在待采集的目标日志文件；若存在待采集的目标日志文件，则对目标日志文件执行采集操作。应用本发明专利技术提供的方法，能够实现在云计算平台的节点中动态采集日志。日志。日志。

【技术实现步骤摘要】
日志处理方法、装置、存储介质及电子设备


[0001]本专利技术涉及计算机
，特别涉及一种日志处理方法、装置、存储介质及电子设备。

技术介绍

[0002]随着科学技术的发展，云计算技术也得到了越来越广泛的应用，在云计算平台中，往往会采用资源虚拟化技术，由于资源虚拟化技术会把底层异常屏蔽，会给日志采集工作带来困难。
[0003]现有技术中，在云计算平台通常采用开源的日志收集系统EFK进行日志收集，然而，采用EFK技术无法适应云计算平台中的动态环境，无法实现日志动态采集。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种日志处理方法、装置、存储介质及电子设备，能够实现动态采集日志。具体方案如下：
[0005]一种日志处理方法，包括：
[0006]对节点中的各个软件的日志文件夹进行检测；
[0007]对于每个所述软件的日志文件夹，在检测到所述日志文件夹中包括日志文件的情况下，生成所述软件对应的日志采集任务，并将所述日志采集任务放入预设的任务队列中，所述日志采集任务至少包括所述软件的日志文件列表；
[0008]响应于采集指令，在所述任务队列的各个日志采集任务中确定当前待执行的目标日志采集任务，并获取已采集文件列表；
[0009]根据所述已采集文件列表以及所述目标日志采集任务中的日志文件列表，确定所述目标日志采集任务所对应的软件的日志文件夹中是否存在待采集的目标日志文件；
[0010]若存在待采集的目标日志文件，则对所述目标日志文件执行采集操作。
[0011]一种日志处理装置，包括：
[0012]检测单元，用于对节点中的各个软件的日志文件夹进行检测；
[0013]生成单元，用于对于每个所述软件的日志文件夹，在检测到所述日志文件夹中包括日志文件的情况下，生成所述软件对应的日志采集任务，并将所述日志采集任务放入预设的任务队列中，所述日志采集任务至少包括所述软件的日志文件列表；
[0014]第一执行单元，用于响应于采集指令，在所述任务队列的各个日志采集任务中确定当前待执行的目标日志采集任务，并获取已采集文件列表；
[0015]确定单元，用于根据所述已采集文件列表以及所述目标日志采集任务中的日志文件列表，确定所述目标日志采集任务所对应的软件的日志文件夹中是否存在待采集的目标日志文件；
[0016]第二执行单元，用于若存在待采集的目标日志文件，则对所述目标日志文件执行采集操作。
[0017]一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上所述的日志处理方法。
[0018]一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的日志处理方法。
[0019]基于上述的方案，本专利技术提供了一种日志处理方法及装置、存储介质及电子设备，该方法包括：对节点中的各个软件的日志文件夹进行检测；对于每个所述软件的日志文件夹，在检测到所述日志文件夹中包括日志文件的情况下，生成所述软件对应的日志采集任务，并将所述日志采集任务放入预设的任务队列中，所述日志采集任务至少包括所述软件的日志文件列表；响应于采集指令，在所述任务队列的各个日志采集任务中确定当前待执行的目标日志采集任务，并获取已采集文件列表；根据所述已采集文件列表以及所述目标日志采集任务中的日志文件列表，确定所述目标日志采集任务所对应的软件的日志文件夹中是否存在待采集的目标日志文件；若存在待采集的目标日志文件，则对所述目标日志文件执行采集操作。通过对各软件的日志文件夹进行检测，以及根据目标日志采集任务中的日志文件列表以及已采集文件列表来确定是否存在待采集的目标日志文件，能够实现对云计算平台的节点动态采集日志。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0021]图1为本专利技术提供的一种日志处理方法的方法流程图；
[0022]图2为本专利技术提供的一种生成软件对应的日志采集任务的过程的流程图；
[0023]图3为本专利技术提供的一种日志处理装置的结构示意图；
[0024]图4为本专利技术提供的一种电子设备的结构示意图。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0027]本专利技术实施例提供了一种日志处理方法，该方法可以应用于电子设备，电子设备可以是各种类型的计算机设备，所述方法的方法流程图如图1所示，具体包括：
[0028]S101：对节点中的各个软件的日志文件夹进行检测。
[0029]在本实施例中，该节点可以是云计算平台中的节点，节点上可以部署各类软件，例如操作系统软件、应用程序软件等，可以对节点中的操作系统软件和应用程序软件等各类软件的日志文件夹进行检测。
[0030]可选的，该云计算平台可以是航信云计算应用平台(TravelSkyApplication Platform，TAP)。
[0031]可选的，每个软件可以使用一个或多个容器。
[0032]S102：对于每个所述软件的日志文件夹，在检测到所述日志文件夹中包括日志文件的情况下，生成所述软件对应的日志采集任务，并将所述日志采集任务放入预设的任务队列中，所述日志采集任务至少包括所述软件的日志文件列表。
[0033]在本实施例中，日志文件列表包括日志文件夹中的各个日志文件信息，日志文件信息可以包括日志文件标识。
[0034]S103：响应于采集指令，在所述任务队列的各个日志采集任务中确定当前待执行的目标日志采集任务，并获取已采集文件列表。
[0035]在本实施例中，可以依次从任务队列中获得日志采集任务，可以将当前获得的日志采集任务作为当前待执行的目标日志采集任务。
[0036]可选的，已采集文件列表中记录有已采集的日志文件的文件标识。
[0037]S104：根据所述已采集文件列表以及所述目标日志采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：对节点中的各个软件的日志文件夹进行检测；对于每个所述软件的日志文件夹，在检测到所述日志文件夹中包括日志文件的情况下，生成所述软件对应的日志采集任务，并将所述日志采集任务放入预设的任务队列中，所述日志采集任务至少包括所述软件的日志文件列表；响应于采集指令，在所述任务队列的各个日志采集任务中确定当前待执行的目标日志采集任务，并获取已采集文件列表；根据所述已采集文件列表以及所述目标日志采集任务中的日志文件列表，确定所述目标日志采集任务所对应的软件的日志文件夹中是否存在待采集的目标日志文件；若存在待采集的目标日志文件，则对所述目标日志文件执行采集操作。2.根据权利要求1所述的方法，其特征在于，所述生成所述软件对应的日志采集任务，包括：获取所述日志文件夹中的日志代理属性文件中包含的软件信息；根据所述软件信息以及所述日志文件的日志文件信息生成所述软件对应的日志采集任务。3.根据权利要求1所述的方法，其特征在于，所述采集所述目标日志文件之后，还包括：删除所述目标日志文件。4.根据权利要求1所述的方法，其特征在于，所述采集所述目标日志文件之后，还包括：到达预设的统计时间点时，分别基于预设的节点维度、软件维度和文件夹维度统计已采集到的日志文件信息。5.根据权利要求1所述的方法，其特征在于，所述采集所述目标日志文件之后，还包括：到达预设的上报时间点时，确定所述节点当前的运行情况以及日志采集情况，将当前的所述日志采集情况和所述运行情况上报至预设的服务端。6.根据权利要求1所述的方法，其特征在于，所述根据所述已采集文件列表以及所述目标日志采集任务中的日志文件列表，确定所述目标日志采集任务所对应的软件的日志文件夹中是否存在待采集的目标日志文件，包括：将所述已采集文件列表与所述目标日志采集任务中的日志文件列表进行比对，以确定所述日志文件列表中是否存在目标文件标识...

【专利技术属性】
技术研发人员：李湘滨，夏菁，庞少勇，谢晖，张恒瑜，
申请(专利权)人：中国民航信息网络股份有限公司，
类型：发明
国别省市：