一种日志数据采集方法及装置制造方法及图纸

本发明专利技术公开了一种日志数据采集方法及装置，其中方法为：确定有效的日志文件；通过预配置数量的处理核，将所述有效的日志文件中的日志数据采集至预设内存空间；所述预设内存空间的内存容量小于或等于预设内存阈值；通过所述处理核，将所述预设内存空间中的所述日志数据传输至预设缓存空间；其中，传输占用的带宽小于或等于预设带宽阈值。上述方法应用于金融科技(Fintech)时，对处理核数量、日志数据的内存空间以及采集传输带宽的限制，极大降低了采集日志时对计算机软件的业务功能运转的影响。

A Log Data Acquisition Method and Device

【技术实现步骤摘要】
一种日志数据采集方法及装置
本专利技术涉及金融科技(Fintech)领域和计算机软件领域，尤其涉及一种日志数据采集方法及装置。
技术介绍
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链(Blockchain)、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。目前，金融科技领域中的计算机软件在运行过程中，会产生大量日志。这些日志在一定程度上表征了计算机软件的运行状况，因此，有必要对计算机软件的日志进行收集，以对计算机软件的运行状况进行分析，从而方便管理人员对计算机软件做调整，提升计算机软件的性能。目前采集计算机软件的日志的方法中，当计算机软件负载较大时，计算机软件的业务功能和日志采集会互相竞争调度资源会比较明显，特别计算机软件在函数调用错误时会瞬间产生大量的错误日志，这时对日志进行采集，会严重影响计算机软件正常的业务功能，甚至会导致运行计算机软件的机器死机。因此，现有技术中，采集计算机软件日志的过程中，会影响计算机软件业务功能的运转，是一个亟待解决的问题。
技术实现思路
本申请实施例提供一种日志数据采集方法及装置，解决了现有技术中采集计算机软件日志的过程中，会影响计算机软件业务功能的运转的问题。第一方面，本申请实施例提供一种日志数据采集方法：确定有效的日志文件；通过预配置数量的处理核，将所述有效的日志文件中的日志数据采集至预设内存空间；所述预设内存空间的内存容量小于或等于预设内存阈值；通过所述处理核，将所述预设内存空间中的所述日志数据传输至预设缓存空间；其中，传输占用的带宽小于或等于预设带宽阈值。上述方法中，确定了有效的日志文件后，通过预配置数量的处理核，将所述有效的日志文件中的日志数据采集至预设内存空间，也就是在限制采集日志的处理核数量的情况下进行日志数据采集，而且所述预设内存空间小于或等于预设内存阈值，即限制了采集的日志数据的内存空间，另外，通过所述处理核，在预设传输带宽内，将所述预设内存空间中的所述日志数据采集至预设缓存空间，由于预设传输带宽小于或等于预设带宽阈值，所以仅在预设带宽阈值内采集日志，因此通过对处理核数量、日志数据的内存空间以及采集传输带宽的限制，极大降低了采集日志时对计算机软件的业务功能运转的影响。一种可选实施方式中，所述确定有效的日志文件，包括：确定包含预设文件扩展名的文件；将所述包含预设文件扩展名的文件中在预设时长内有更新的文件，确定为所述有效的日志文件。上述方法中，将满足包含预设文件扩展名且在预设时长内有更新的文件，确定为有效的日志文件，从而实现在该条件下自动确定有效的日志文件，无需要人工配置日志文件的路径，从而采集日志数据不容易出错。一种可选实施方式中，所述通过预配置数量的处理核，将所述有效的日志文件中的日志数据采集至预设内存空间，包括：通过所述处理核，调度至少一个第一采集协程，并发将所述有效的日志文件中的日志数据采集至所述预设内存空间。上述方法中，通过所述处理核，调度至少一个第一采集协程，并发采集所述有效的日志文件中的日志数据，且采集到预设内存空间，存取速度较快，从而提升了日志数据的采集效率。一种可选实施方式中，所述将所述有效的日志文件中的日志数据采集至所述预设内存空间，包括：将所述有效的日志文件中的所述日志数据采集至所述预设内存空间，直至所述预设内存空间中存储容量不足；并在确定所述预设内存空间中的所述日志数据传输至所述预设缓存空间后，继续将所述有效的日志文件中的所述日志数据采集至所述预设内存空间。上述方式下，所述预设内存空间中存储容量不足之前，都可将所述有效的日志文件中的所述日志数据采集至所述预设内存空间，从而在一定程度上限制了日志数据占用的存储容量，并在确定所述预设内存空间中的所述日志数据传输至所述预设缓存空间，即存储容量有了剩余空间后，继续将所述有效的日志文件中的所述日志数据采集至所述预设内存空间，从而在限制日志数据占用的存储容量的情况下，采集日志数据。一种可选实施方式中，所述通过所述处理核，将所述预设内存空间中的所述日志数据传输至预设缓存空间，包括：通过所述处理核，确定传输所述日志数据占用的带宽；若小于所述预设带宽阈值，则通过所述处理核，调度至少一个第二采集协程，并发将所述预设内存空间中的所述日志数据传输至所述预设缓存空间。上述方式下，通过所述处理核，确定传输所述日志数据占用的带宽，若小于所述预设带宽阈值，则通过所述处理核，调度至少一个第二采集协程，并发将所述预设内存空间中的所述日志数据传输至所述预设缓存空间，从而在限制传输所述日志数据占用的带宽的基础上，提升日志数据采集的效率。第二方面，本申请提供一种日志数据采集装置，包括：确定模块，用于确定有效的日志文件；处理模块，用于通过预配置数量的处理核，将所述有效的日志文件中的日志数据采集至预设内存空间；所述预设内存空间的内存容量小于或等于预设内存阈值；通过所述处理核，将所述预设内存空间中的所述日志数据传输至预设缓存空间；其中，传输占用的带宽小于或等于预设带宽阈值。一种可选实施方式，所述确定模块具体用于：确定包含预设文件扩展名的文件；将所述包含预设文件扩展名的文件中在预设时长内有更新的文件，确定为所述有效的日志文件。一种可选实施方式，所述处理模块具体用于：通过所述处理核，调度至少一个第一采集协程，并发将所述有效的日志文件中的日志数据采集至所述预设内存空间。一种可选实施方式，所述处理模块具体用于：将所述有效的日志文件中的所述日志数据采集至所述预设内存空间，直至所述预设内存空间中存储容量不足；并在确定所述预设内存空间中的所述日志数据传输至所述预设缓存空间后，继续将所述有效的日志文件中的所述日志数据采集至所述预设内存空间。一种可选实施方式，所述处理模块具体用于：通过所述处理核，确定传输所述日志数据占用的带宽；若小于所述预设带宽阈值，则通过所述处理核，调度至少一个第二采集协程，并发将所述预设内存空间中的所述日志数据传输至所述预设缓存空间。上述第二方面及第二方面各个实施例的有益效果，可以参考上述第一方面及第一方面各个实施例的有益效果，这里不再赘述。第三方面，本申请实施例提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个实施例的方法。第四方面，本申请实施例提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个实施例的方法。附图说明图1为本申请实施例提供的一种日志数据方法可应用的架构示意图；图2为本申请实施例提供的一种日志数据方法的步骤流程示意图；图3为本申请实施例提供的一种日志数据装置的结构示意图。具体实施方式为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互结合。在金融机构(银行机构、保险机构或证券机构)在进行业务(如银行的贷款业务、存款业务等)运转过程中，会产生大量日志。这些日志在一定程度上表征了金融机构机器中计算机软件的运行状况，因此，有必要对计算机软件的日志进行收集，以对计算机软件的运行本文档来自技高网...

【技术保护点】
1.一种日志数据采集方法，其特征在于，包括：确定有效的日志文件；通过预配置数量的处理核，将所述有效的日志文件中的日志数据采集至预设内存空间；所述预设内存空间的内存容量小于或等于预设内存阈值；通过所述处理核，将所述预设内存空间中的所述日志数据传输至预设缓存空间；其中，传输占用的带宽小于或等于预设带宽阈值。

【技术特征摘要】
1.一种日志数据采集方法，其特征在于，包括：确定有效的日志文件；通过预配置数量的处理核，将所述有效的日志文件中的日志数据采集至预设内存空间；所述预设内存空间的内存容量小于或等于预设内存阈值；通过所述处理核，将所述预设内存空间中的所述日志数据传输至预设缓存空间；其中，传输占用的带宽小于或等于预设带宽阈值。2.如权利要求1所述的方法，其特征在于，所述确定有效的日志文件，包括：确定包含预设文件扩展名的文件；将所述包含预设文件扩展名的文件中在预设时长内有更新的文件，确定为所述有效的日志文件。3.如权利要求1或2所述的方法，其特征在于，所述通过预配置数量的处理核，将所述有效的日志文件中的日志数据采集至预设内存空间，包括：通过所述处理核，调度至少一个第一采集协程，并发将所述有效的日志文件中的日志数据采集至所述预设内存空间。4.如权利要求3所述的方法，其特征在于，所述将所述有效的日志文件中的日志数据采集至所述预设内存空间，包括：将所述有效的日志文件中的所述日志数据采集至所述预设内存空间，直至所述预设内存空间中存储容量不足；并在确定所述预设内存空间中的所述日志数据传输至所述预设缓存空间后，继续将所述有效的日志文件中的所述日志数据采集至所述预设内存空间。5.如权利要求1或2所述的方法，其特征在于，所述通过所述处理核，将所述预设内存空间中的所述日志数据传输至预设缓存空间，包括：通过所述处理核，确定传输所述日志数据占用的带宽；若小于所述预设带宽阈值，则通过所述处理核，调度至少一个第二采集协程，并发将所述预设内存空间中的所述日志数据传输至所述预设缓存空间。6.一种日志数据采集装置，其特征在于，包括：确...

【专利技术属性】
技术研发人员：卢道和，杨军，陈广胜，陈翼，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44