日志压缩方法和装置制造方法及图纸

本申请提供一种日志压缩方法和装置，日志压缩方法包括：将新生成的日志写入到内存中的日志缓冲区；在日志缓冲区填满的情况下，对日志缓冲区暂存的日志进行压缩，得到压缩日志文件；存储压缩日志文件，并清空日志缓冲区。本申请提供的日志压缩方法，将新生成的日志存储在内存的日志缓冲区，在日志缓冲区被填满后即对其存储的日志进行压缩、得到压缩日志文件，再将压缩日志文件存储到存储器中。因为仅在存储压缩日志时调用IO进程，所以无需如现有技术一样多次使用IO进程。因为压缩日志文件是已经被压缩的文件，占用IO进程时IO进程执行压缩日志文件存储的时间也较短。

【技术实现步骤摘要】
日志压缩方法和装置
本申请涉及计算机数据处理
，尤其涉及一种日志压缩方法和装置。
技术介绍
在数据库运行而向外部提供服务时，服务器会记录各种操作行为而形成日志。在长时间运行、并且触发操作频繁的情况下，服务器会形成海量日志文件；日志文件存储在服务器硬盘中而消耗大量硬盘资源，并且为实现日志写入硬盘，需要频繁占用硬盘的IO服务，挤占正常业务对硬盘IO服务的使用。为解决日志存储占用大量资源、影响服务器操作的问题，目前已有的方法是定期的对存储在硬盘中的累积的日志文件进行压缩，存储并压缩后文件。而对存储在硬盘中的大量日志文件进行压缩，需要占用硬盘进行读数据操作和占用硬盘进行写数据操作(也就是IO操作)；对大量日志文件存储后进行压缩将短时间内占用大量CPU资源而减小服务器对正常业务的处理及时性。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种日志压缩方法和装置。一方面，本申请提供一种日志压缩方法，包括：将新生成的日志写入到内存中的日志缓冲区；在所述日志缓冲区填满的情本文档来自技高网...

【技术保护点】
1.一种日志压缩方法，其特征在于，包括：/n将新生成的日志写入到内存中的日志缓冲区；/n在所述日志缓冲区填满的情况下，对所述日志缓冲区暂存的日志进行压缩，得到压缩日志文件；/n存储所述压缩日志文件，并清空所述日志缓冲区。/n

【技术特征摘要】
1.一种日志压缩方法，其特征在于，包括：
将新生成的日志写入到内存中的日志缓冲区；
在所述日志缓冲区填满的情况下，对所述日志缓冲区暂存的日志进行压缩，得到压缩日志文件；
存储所述压缩日志文件，并清空所述日志缓冲区。


2.根据权利要求1所述的日志压缩方法，其特征在于，所述日志缓冲区包括多个缓冲子区；
将新生成的日志写入到内存中的日志缓冲区包括：将新生成的、不同类型的日志写入到不同的所述缓冲子区，或者，将新生成的、不同应用对应的日志写入到不同的所述缓冲子区；
在所述日志缓冲区填满的情况下，对所述日志缓冲区暂存的日志进行压缩包括：在任一缓冲子区填满的情况下，对所述任一缓冲子区暂存的日志进行压缩；
所述清空所述日志缓冲区包括：清空所述缓冲子区。


3.根据权利要求2所述的日志压缩方法，其特征在于，同时开启多个压缩处理进程或者压缩处理线程；
在任一缓冲子区填满的情况下，对所述任一缓冲子区暂存的日志进行压缩，包括：使用一处于空闲状态的所述压缩处理进程或者所述压缩处理线程，对所述任一缓冲子区暂存的日志进行压缩。


4.根据权利要求3所述的日志压缩方法，其特征在于，还包括：
根据所述缓冲子区的数量和日志产生的速率，确定开启的所述压缩处理进程或者所述压缩处理线程的数量。


5.根据权利要求1-4任一项所述的日志压缩方法，其特征在于，
存储所述压缩日志文件，包括：采用一个IO进程存储所述压缩日志文件。

【专利技术属性】
技术研发人员：车晓瑶，王建华，
申请(专利权)人：北京人大金仓信息技术股份有限公司，
类型：发明
国别省市：北京;11