一种合并日志的方法及装置制造方法及图纸

本发明专利技术提供了一种合并日志的方法及装置，其中，该方法包括将接收到的日志复制性写入设置的非持久化缓存和持久化缓存中，其中，非持久化缓存对日志的缓存时长小于持久化缓存对日志的缓存时长。在非持久化缓存中查找具有相同字段的日志，并从查找到的相同字段的日志中获取满足预置回溯条件的多种日志并合并，将合并后的日志缓存至持久化缓存中。本发明专利技术实施例通过将接收到的日志复制性的写入设置的非持久化缓存和持久化缓存，从而可以避免后续在获取日志时将大量的获取请求直接分配到持久化缓存中，以减少持久化缓存的日志处理压力。并且，将具有相同字段的日志进行合并还可以有效地节约日志的存储空间，并方便后续对日志的集中管理。

A Method and Device for Merging Logs

【技术实现步骤摘要】
一种合并日志的方法及装置
本专利技术涉及计算机
，特别是涉及一种合并日志的方法及装置。
技术介绍
日志在计算机系统中是一个非常广泛的概念，任何程序(如操作系统内核、各种应用服务器等等)都有可能输出日志。虽然日志的内容、规模和用途各不相同，但是，其总体的功能是记录软件运行状态，存储系统产生的事件信息。随着计算机技术的不断发展，目前的日志量越来越多很大，特别是在日志回溯规则很多的时候(例如同一日志的回溯规则包括每隔5分钟或者1小时或者5小时进行日志回溯)，需要不断的从存储日志的缓存数据库中获取日志，由于持久化缓存的性能较差，因此这会对持久化缓存数据库造成很大的压力，从而容易影响日志处理系统对日志的处理性能。因此，如何为日志的缓存和处理提供足够大的灵活性以及良好的伸缩性是目前面临的较大的挑战。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的合并日志的方法及装置。依据本专利技术的一方面，提供了一种合并日志的方法，包括：将接收日志复制性写入设置的非持久化缓存和持久化缓存中，其中，所述非持久化缓存对日志的缓存时长小于所述持久化缓存对日志的缓存时本文档来自技高网...

【技术保护点】
1.一种合并日志的方法，包括：将接收日志复制性写入设置的非持久化缓存和持久化缓存中，其中，所述非持久化缓存对日志的缓存时长小于所述持久化缓存对日志的缓存时长；在所述非持久化缓存中查找具有相同字段的日志；从查找到的相同字段的日志中获取满足预置回溯条件的多种日志并合并，将合并后的日志缓存至所述持久化缓存中。

【技术特征摘要】
1.一种合并日志的方法，包括：将接收日志复制性写入设置的非持久化缓存和持久化缓存中，其中，所述非持久化缓存对日志的缓存时长小于所述持久化缓存对日志的缓存时长；在所述非持久化缓存中查找具有相同字段的日志；从查找到的相同字段的日志中获取满足预置回溯条件的多种日志并合并，将合并后的日志缓存至所述持久化缓存中。2.根据权利要求1所述的方法，其中，还包括：若在所述非持久化缓存中未查找到具有相同字段的日志，则继续从所述持久化缓存中查找具有相同字段的日志。3.根据权利要求1或2所述的方法，其中，所述将接收日志复制性写入设置的非持久化缓存和持久化缓存之前，还包括：设置第一级缓存和第二级缓存作为非持久化缓存，设置第三级缓存作为持久化缓存。4.根据权利要求3所述的方法，其中，在所述非持久化缓存中查找具有相同字段的日志，包括：依次从所述第一级缓存、所述第二级缓存中查找具有相同字段的日志。5.根据权利要求3所述的方法，其中，所述第一级缓存包括rediscluster，所述第二级缓存包括aerospike，所述第三级缓存包括hbase。6.根据权利要求1或2所述的方法，其中，所述方法应用于kafka系统，所述将接收日志复制性写入设置的非持久化缓存和持久化缓存中，包括：将接收日志中具有相同字段的日志分配到基于所述k...

【专利技术属性】
技术研发人员：严锁鹏，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11