【技术实现步骤摘要】
基于池化的日志存储方法、装置、计算机设备及存储介质
本专利技术涉及数据处理
,尤其涉及一种基于池化的日志存储方法、装置、计算机设备及存储介质。
技术介绍
在现有的基于Java开发的任务调度系统中,任务的执行日志管理是重要的模块,任务调度系统一般由以下模块组成:调度模块,用于调度任务,下发任务;执行模块,主要用于执行任务;管理模块,用于提供可视化界面供用户使用;日志模块,用于任务日志收集,提供日志给用户查看。日志模块负责日志的管理,包括日志的收集、存储以及提供服务日志的接口,现有的日志采集方式是这样的,任务会在每个执行器上运行,执行器会定期将日志数据发送到日志收集服务上,日志收集服务会收集来自各个执行器的日志数据,进行存储,然后提供接口给管理模块去调用查询数据。当执行器数据量比较多,并且执行的任务很多时候,日志收集服务会不停地接收到执行器发送来的数据,为了提高日志数据写入的响应速度,采用先将数据封装好写入内存中,当内存的使用率达到一定程度之后就会将内存中的数据写入到数据库中,这样的方式能够充分利用内存的写入速度的 ...
【技术保护点】
1.一种基于池化的日志存储方法,其特征在于,包括:/n若接收到日志存储请求,则判断内存是否满足第一预设存储条件,其中,所述日志包括数据长度和日志数据;/n若所述内存满足第一预设存储条件,判断预设的内存池中的存储区是否满足第二预设存储条件,其中,所述内存池包括多个存储区;/n若预设的内存池中的存储区满足第二预设存储条件,则从所述内存池中获取满足所述第二预设存储条件的所述存储区,将所述日志数据写入所述满足所述第二预设存储条件的所述存储区;/n若所述内存不满足第一预设存储条件,则将预设的内存池中满载的存储区写入到数据库中;/n将所述满载的存储区清空并回收到所述内存池中。/n
【技术特征摘要】
1.一种基于池化的日志存储方法,其特征在于,包括:
若接收到日志存储请求,则判断内存是否满足第一预设存储条件,其中,所述日志包括数据长度和日志数据;
若所述内存满足第一预设存储条件,判断预设的内存池中的存储区是否满足第二预设存储条件,其中,所述内存池包括多个存储区;
若预设的内存池中的存储区满足第二预设存储条件,则从所述内存池中获取满足所述第二预设存储条件的所述存储区,将所述日志数据写入所述满足所述第二预设存储条件的所述存储区;
若所述内存不满足第一预设存储条件,则将预设的内存池中满载的存储区写入到数据库中;
将所述满载的存储区清空并回收到所述内存池中。
2.根据权利要求1所述的基于池化的日志存储方法,其特征在于,所述判断内存是否满足第一预设存储条件,包括:
判断内存的已存储量是否超过预设阈值;
若所述内存的已存储量未超过预设阈值,则判定所述内存满足第一预设存储条件;
若所述内存的已存储量超过预设阈值,则判定所述内存不满足第一预设存储条件。
3.根据权利要求1所述的基于池化的日志存储方法,其特征在于,所述判断预设的内存池中的存储区是否满足第二预设存储条件,包括:
将所述数据长度与预设的内存池中的存储区的剩余容量进行对比;
若所述数据长度大于预设的内存池中的存储区的剩余容量,则判定所述存储区不满足第二预设存储条件;
若所述数据长度不大于预设的内存池中的存储区的剩余容量,则判定所述存储区不满足第二预设存储条件。
4.根据权利要求3所述的基于池化的日志存储方法,其特征在于,所述判定所述存储区不满足第二预设存储条件之后,还包括:
创建新的存储区以满足第二预设存储条件。
5.根据权利要求1所述的基于池化的日志存储方法,其特征在于,所述判断内存是否满足第一预设存储条件之前,还包括:
判断所述日志存储请求的优先级,其中,所述优先级包括高级和低级;
若所述日志存储请求的优先级为高级,则执行所述判断内存是否满足第一预设存储条件的步骤;
若所述日志存储请求的优先级为低级,直接将所述日志...
【专利技术属性】
技术研发人员:孙朝和,申志彬,李如先,
申请(专利权)人:深圳前海环融联易信息科技服务有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。