本申请公开了一种日志批量采集方法、装置、电子设备及存储介质，可应用于大数据领域或金融领域。在执行该方法时，先修改日志收集系统Flume的源码文件，得到修改后的源码文件，修改后的源码文件包括预设日志文件阈值；接着统计日志收集系统Flume中数据源组件Source在预设时间段内批量采集的日志文件的总数；若日志文件的总数大于预设日志文件阈值时，停止数据源组件Source批量采集所述日志文件，这样一来，通过增加预设日志文件阈值，当预设时间段内批量采集的日志文件的总数大于预设日志文件阈值，停止数据源组件Source继续批量采集日志文件，即停止往内存中添加新的数据，防止内存溢出，提高Flume系统运行的稳定性，进而提升日志批量采集的效率。日志批量采集的效率。日志批量采集的效率。
【技术实现步骤摘要】
一种日志批量采集方法、装置、电子设备及存储介质
[0001]本申请涉及大数据领域，尤其涉及一种日志批量采集方法、装置、电子设备及存储介质。
技术介绍
[0002]日志文件是记录在操作系统或其他软件运行中发生的事件或在通信软件的不同用户之间的消息的文件。
[0003]在现有技术中，大多采用日志收集系统Flume作为日志采集框架进行日志批量采集。
[0004]随着软件系统变得日益庞大和复杂，日志文件越来越多，导致在使用日志收集系统Flume的过程中，经常出现使用的内存过多，最终使得日志收集系统Flume运行要用到的内存大于能提供的最大内存。此时日志收集系统Flume就运行不了，系统会提示内存溢出，甚至有时候会自动关闭日志收集系统Flume，使得日志批量采集的效率低下。
技术实现思路
[0005]有鉴于此，本申请提供了一种日志批量采集方法、装置、电子设备及存储介质，旨在提升日志批量采集的效率。
[0006]第一方面，本申请提供了一种日志批量采集方法，所述方法包括：
[0007]修改日志收集系统Flume的源码文件，得到修改后的源码文件，所述修改后的源码文件包括预设日志文件阈值；
[0008]统计所述日志收集系统Flume中数据源组件Source在预设时间段内批量采集的日志文件的总数；
[0009]若所述日志文件的总数大于所述预设日志文件阈值时，停止所述数据源组件Source批量采集所述日志文件；
[0010]若所述日志文件的总数小于所述预设日志文件阈值时，则控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述日志文件；
[0011]控制所述通道组件Channel缓存所述日志文件。
[0012]可选地，若所述日志文件的总数大于所述预设日志文件阈值时，所述方法还包括：
[0013]发送提示消息，所述提示消息用于提示所述日志文件的总数大于所述预设日志文件阈值。
[0014]可选地，所述方法还包括：
[0015]根据采集所述日志文件中各个日志文件的时间，添加所述各个日志文件对应的时间标识；
[0016]当所述日志文件的总数小于所述预设日志文件阈值时，根据所述各个日志文件对应的时间标识，继续控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述各个日志文件。
[0017]可选地，所述通道组件Channel具体为KafkaChannel组件。
[0018]可选地，所述日志收集系统Flume还包括自定义拦截器组件Interceptor，所述自定义拦截器组件Interceptor设置在所述数据源组件Source与所述通道组件Channel之间；
[0019]在所述控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述日志文件之前，所述方法还包括：
[0020]基于预设过滤规则，调用所述自定义拦截器组件Interceptor，对所述日志文件进行过滤，得到过滤后的日志文件；
[0021]控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述过滤后的日志文件。
[0022]第二方面，本申请一种日志批量采集装置，所述装置包括：
[0023]修改模块，用于修改日志收集系统Flume的源码文件，得到修改后的源码文件，所述修改后的源码文件包括预设日志文件阈值；
[0024]统计模块，用于统计所述日志收集系统Flume中数据源组件Source在预设时间段内批量采集的日志文件的总数；
[0025]发送模块，用于若所述日志文件的总数小于所述预设日志文件阈值时，则控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述日志文件；
[0026]停止模块，用于若所述日志文件的总数大于所述预设日志文件阈值时，停止所述数据源组件Source批量采集所述日志文件；
[0027]缓存模块，用于控制所述通道组件Channel缓存所述日志文件。
[0028]可选地，若所述日志文件的总数大于所述预设日志文件阈值时，所述装置还包括：
[0029]提示模块，用于发送提示消息，所述提示消息用于提示所述日志文件的总数大于所述预设日志文件阈值。
[0030]可选地，所述装置还包括：
[0031]添加模块，用于根据采集所述日志文件中各个日志文件的时间，添加所述各个日志文件对应的时间标识；
[0032]所述发送模块，还用于当所述日志文件的总数小于所述预设日志文件阈值时，根据所述各个日志文件对应的时间标识，继续控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述各个日志文件。
[0033]第三方面，本申请实施例提供了一种电子设备，所述电子设备包括：
[0034]存储器，用于存储一个或多个程序；
[0035]处理器；当所述一个或多个程序被所述处理器执行时，实现前述第一方面任一项所述的日志批量采集方法。
[0036]第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质中存储有程序，当所述程序被处理器执行时，实现前述第一方面任一项所述的日志批量采集方法。
[0037]上述技术方案具有如下有益效果：
[0038]本申请实施例提供了一种日志批量采集方法、装置、电子设备及存储介质。在执行所述方法时，先修改日志收集系统Flume的源码文件，得到修改后的源码文件，所述修改后的源码文件包括预设日志文件阈值；接着统计所述日志收集系统Flume中数据源组件
Source在预设时间段内批量采集的日志文件的总数；若日志文件的总数大于预设日志文件阈值时，停止数据源组件Source批量采集所述日志文件；若所述日志文件的总数小于所述预设日志文件阈值时，则控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述日志文件，最后控制所述通道组件Channel缓存所述日志文件。这样一来，通过修改日志收集系统Flume的源码文件，增加预设日志文件阈值，当预设时间段内批量采集的日志文件的总数大于预设日志文件阈值，停止数据源组件Source继续批量采集所述日志文件，即停止往内存中添加新的数据，防止内存溢出，提高日志收集系统Flume运行的稳定性，进而提升日志批量采集的效率。
附图说明
[0039]为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本申请实施例提供的日志收集系统Flume采集日志文件框架的一种举例示意图；
[0041]图2为本申请实施例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志批量采集方法，其特征在于，所述方法包括：修改日志收集系统Flume的源码文件，得到修改后的源码文件，所述修改后的源码文件包括预设日志文件阈值；统计所述日志收集系统Flume中数据源组件Source在预设时间段内批量采集的日志文件的总数；若所述日志文件的总数大于所述预设日志文件阈值时，停止所述数据源组件Source批量采集所述日志文件；若所述日志文件的总数小于所述预设日志文件阈值时，则控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述日志文件；控制所述通道组件Channel缓存所述日志文件。2.根据权利要求1所述的方法，其特征在于，若所述日志文件的总数大于所述预设日志文件阈值时，所述方法还包括：发送提示消息，所述提示消息用于提示所述日志文件的总数大于所述预设日志文件阈值。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据采集所述日志文件中各个日志文件的时间，添加所述各个日志文件对应的时间标识；当所述日志文件的总数小于所述预设日志文件阈值时，根据所述各个日志文件对应的时间标识，继续控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述各个日志文件。4.根据权利要求1所述的方法，其特征在于，所述通道组件Channel为KafkaChannel组件。5.根据权利要求1所述的方法，其特征在于，所述日志收集系统Flume还包括自定义拦截器组件Interceptor，所述自定义拦截器组件Interceptor设置在所述数据源组件Source与所述通道组件Channel之间；在所述控制所述数据源组件Source向所述日志收集系统Flume中的通道组件Channel发送所述日志文件之前，所述方法还包括：基于预设过滤规则，调用所述自定义拦截器组件Interceptor，对所述日志文件进行过滤，得到过滤后的日志文件；...
【专利技术属性】
技术研发人员：张博，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。