日志采集方法及装置制造方法及图纸

本申请提供了一种日志采集方法及装置，该方法包括：执行日志采集步骤，该日志采集步骤包括：实时监控目标交易系统的交易日志文件中是否存在新增的日志数据，若是，则采集所述新增的日志数据；判断预设时间段内所述交易日志文件中是否存在新增的日志数据，若否，则判断所述交易日志文件的文件名称是否发生变更，若是并且根据所述交易日志文件的原文件名称，确定所述目标交易系统中存在下一交易日志文件，则确定所述目标交易系统发生日志文件切换；中止所述交易日志文件对应的日志采集步骤，采集当前下一交易日志文件中的所有日志数据，将下一交易日志文件作为交易日志文件，再次执行所述日志采集步骤。本申请能够提高日志采集的可靠性。靠性。靠性。

【技术实现步骤摘要】
日志采集方法及装置


[0001]本申请涉及数据处理
，尤其涉及一种日志采集方法及装置。

技术介绍

[0002]对于交易系统来说，在写入日志数据时，由于日期切换或者日志文件过大，会存在切换日志文件的情况。目前，常见的日志监视类采集方式为调用操作系统命令，如tail
‑
f命令，根据文件描述符进行日志增量的采集，需要时通过杀死进程的方式采集停止；对于Unix/Linux平台的日志文件来说，文件描述符为inode索引节点；切换日志文件前后，原日志文件的文件描述符不会发生改变，因此，应用操作系统命令难以实现日志文件切换的监控，难以从不同日志文件中采集日志数据，影响日志数据采集的可靠性。

技术实现思路

[0003]针对现有技术中的问题，本申请提出了一种日志采集方法及装置，能够提高日志采集的准确性，保证日志监控的可靠性，进而提高系统运行的稳定性。
[0004]为了解决上述技术问题，本申请提供以下技术方案：
[0005]第一方面，本申请提供一种日志采集方法，包括：
[0006]执行日志采集步骤，该日志采集步骤包括：实时监控目标交易系统的交易日志文件中是否存在新增的日志数据，若是，则采集所述新增的日志数据；判断预设时间段内所述交易日志文件中是否存在新增的日志数据，若否，则判断所述交易日志文件的文件名称是否发生变更，若是并且根据所述交易日志文件的原文件名称，确定所述目标交易系统中存在下一交易日志文件，则确定所述目标交易系统发生日志文件切换；
[0007]中止所述交易日志文件对应的日志采集步骤，采集当前下一交易日志文件中的所有日志数据，将下一交易日志文件作为交易日志文件，再次执行所述日志采集步骤。
[0008]进一步地，所述日志采集步骤还包括：
[0009]若所述交易日志文件的文件名称未发生变更，则根据所述交易日志文件的文件名称和预设的文件名称生成规则，判断所述目标交易系统中是否存在下一交易日志文件，若是，则确定所述目标交易系统发生日志文件切换。
[0010]进一步地，所述中止所述交易日志文件对应的日志采集步骤，包括：
[0011]验证所述交易日志文件和下一交易日志文件是否相同，若否，则中止所述交易日志文件对应的日志采集步骤。
[0012]进一步地，所述的日志采集方法，还包括：
[0013]获取所述目标交易系统的待写入日志数据；
[0014]若所述交易日志文件和待写入日志数据的数据量总和大于数据量阈值或者系统日期发生变更，则根据预设的日志切换模式，创建下一交易日志文件并将所述待写入日志数据写入所述下一交易日志文件中。
[0015]第二方面，本申请提供一种日志采集装置，包括：
[0016]采集模块，用于执行日志采集步骤，该日志采集步骤包括：实时监控目标交易系统的交易日志文件中是否存在新增的日志数据，若是，则采集所述新增的日志数据；判断预设时间段内所述交易日志文件中是否存在新增的日志数据，若否，则判断所述交易日志文件的文件名称是否发生变更，若是并且根据所述交易日志文件的原文件名称，确定所述目标交易系统中存在下一交易日志文件，则确定所述目标交易系统发生日志文件切换；
[0017]切换模块，用于中止所述交易日志文件对应的日志采集步骤，采集当前下一交易日志文件中的所有日志数据，将下一交易日志文件作为交易日志文件，再次执行所述日志采集步骤。
[0018]进一步地，所述采集模块还包括：
[0019]判断单元，用于若所述交易日志文件的文件名称未发生变更，则根据所述交易日志文件的文件名称和预设的文件名称生成规则，判断所述目标交易系统中是否存在下一交易日志文件，若是，则确定所述目标交易系统发生日志文件切换。
[0020]进一步地，所述切换模块，包括：
[0021]验证所述交易日志文件和下一交易日志文件是否相同，若否，则中止所述交易日志文件对应的日志采集步骤。
[0022]进一步地，所述的日志采集装置，还包括：
[0023]获取模块，用于获取所述目标交易系统的待写入日志数据；
[0024]创建模块，用于若所述交易日志文件和待写入日志数据的数据量总和大于数据量阈值或者系统日期发生变更，则根据预设的日志切换模式，创建下一交易日志文件并将所述待写入日志数据写入所述下一交易日志文件中。
[0025]第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的日志采集方法。
[0026]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述的日志采集方法。
[0027]由上述技术方案可知，本申请提供一种日志采集方法及装置。其中，该方法包括：执行日志采集步骤，该日志采集步骤包括：实时监控目标交易系统的交易日志文件中是否存在新增的日志数据，若是，则采集所述新增的日志数据；判断预设时间段内所述交易日志文件中是否存在新增的日志数据，若否，则判断所述交易日志文件的文件名称是否发生变更，若是并且根据所述交易日志文件的原文件名称，确定所述目标交易系统中存在下一交易日志文件，则确定所述目标交易系统发生日志文件切换；中止所述交易日志文件对应的日志采集步骤，采集当前下一交易日志文件中的所有日志数据，将下一交易日志文件作为交易日志文件，再次执行所述日志采集步骤，能够提高日志采集的准确性，保证日志监控的可靠性，进而提高系统运行的稳定性。
附图说明
[0028]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1是本申请实施例中的日志采集方法的流程示意图；
[0030]图2是本申请另一实施例中的日志采集方法的流程示意图；
[0031]图3是本申请又一实施例中的日志采集方法的流程示意图；
[0032]图4是本申请实施例中日志采集装置的结构示意图；
[0033]图5为本申请实施例的电子设备的系统构成示意框图。
具体实施方式
[0034]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]在现有技术中，tail
‑
f命令难以捕获到新的写入日志文件，容易导致日志数据漏采，基于此，为了提高日志采集的准确性，保证日志监控的可靠性，进而提高系统运行的稳定性，本申请实施例提供一种日志采集装置，该装置可以是一服务器或客户端设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志采集方法，其特征在于，包括：执行日志采集步骤，该日志采集步骤包括：实时监控目标交易系统的交易日志文件中是否存在新增的日志数据，若是，则采集所述新增的日志数据；判断预设时间段内所述交易日志文件中是否存在新增的日志数据，若否，则判断所述交易日志文件的文件名称是否发生变更，若是并且根据所述交易日志文件的原文件名称，确定所述目标交易系统中存在下一交易日志文件，则确定所述目标交易系统发生日志文件切换；中止所述交易日志文件对应的日志采集步骤，采集当前下一交易日志文件中的所有日志数据，将下一交易日志文件作为交易日志文件，再次执行所述日志采集步骤。2.根据权利要求1所述的日志采集方法，其特征在于，所述日志采集步骤还包括：若所述交易日志文件的文件名称未发生变更，则根据所述交易日志文件的文件名称和预设的文件名称生成规则，判断所述目标交易系统中是否存在下一交易日志文件，若是，则确定所述目标交易系统发生日志文件切换。3.根据权利要求1所述的日志采集方法，其特征在于，所述中止所述交易日志文件对应的日志采集步骤，包括：验证所述交易日志文件和下一交易日志文件是否相同，若否，则中止所述交易日志文件对应的日志采集步骤。4.根据权利要求1所述的日志采集方法，其特征在于，还包括：获取所述目标交易系统的待写入日志数据；若所述交易日志文件和待写入日志数据的数据量总和大于数据量阈值或者系统日期发生变更，则根据预设的日志切换模式，创建下一交易日志文件并将所述待写入日志数据写入所述下一交易日志文件中。5.一种日志采集装置，其特征在于，包括：采集模块，用于执行日志采集步骤，该日志采集步骤包括：实时监控目标交易系统的交易日志文件中是否存在新增的日志数据，若是，则采集所述新增的日...

【专利技术属性】
技术研发人员：徐昌柏，颜冬，李勤，潘瑞温，
申请(专利权)人：银清科技有限公司，
类型：发明
国别省市：