日志处理方法及装置制造方法及图纸

本申请实施例的目的是提供一种日志处理方法及装置，其中方法包括：获取需要进行处理的待处理日志；确定所述待处理日志对应的压缩处理信息和存储处理信息；从预设的多个压缩算法中，选取与所述压缩处理信息相匹配的目标压缩算法，以及，从预设的多个存储算法中，选取与所述存储处理信息相匹配的目标存储算法；通过所述目标压缩算法压缩所述待处理日志，以及通过所述目标存储算法存储压缩后的所述待处理日志。通过本申请实施例提供的日志处理方法及装置，能够为待处理日志灵活选择压缩算法和存储算法，从而提高日志压缩存储的灵活性，解决现有技术中日志压缩存储方式单一、灵活性差的问题。

Log processing method and device

The embodiment of the invention is to provide a log processing method and device, wherein the method comprises the following steps: acquiring the need for processing to log; determining the pending corresponding log compression processing information and processing information storage; from a plurality of preset compression algorithm, and select the compression processing information matching the target compression algorithm, and, from a plurality of storage algorithm preset, select the target storage algorithm and the information storage and processing of the match; the log to be processed by the compression of the target compression algorithm, and through the target storage algorithm to store compressed the log to be processed. Log processing method and the device provided by the embodiment of the invention, can be flexible processing log compression algorithm and storage algorithm, thereby improving the log compressed storage flexibility, solves the log compressed storage mode is single, the problem of poor flexibility.

【技术实现步骤摘要】
日志处理方法及装置
本申请涉及数据处理领域，尤其涉及一种日志处理方法及装置。
技术介绍
随着大数据的逐步发展，海量日志的压缩存储处理逐渐成为大数据行业内比较重要的环节。现有技术中通常在服务器内预定一种默认的数据压缩方式和一种默认的数据存储方式，当接收到前端传输的日志时，服务器按照该默认的数据压缩方式对接收到的日志进行压缩处理，并按照该默认的数据存储方式存储压缩后的日志。由于现有技术中只能够依靠默认的数据压缩方式和默认的数据存储方式对接收到的日志进行压缩和存储处理，因此压缩存储方式较为单一，灵活性较差。
技术实现思路
本申请实施例的目的是提供一种日志处理方法及装置，能够为待处理日志灵活选择压缩算法和存储算法，从而提高日志压缩存储的灵活性，解决现有技术中日志压缩存储方式单一、灵活性差的问题。为解决上述技术问题，本申请实施例是这样实现的：本申请实施例提供了一种日志处理方法，包括：获取需要进行处理的待处理日志；确定所述待处理日志对应的压缩处理信息和存储处理信息；从预设的多个压缩算法中，选取与所述压缩处理信息相匹配的目标压缩算法，以及，从预设的多个存储算法中，选取与所述存储处理信息相匹配的目标存储本文档来自技高网...

【技术保护点】
一种日志处理方法，其特征在于，包括：获取需要进行处理的待处理日志；确定所述待处理日志对应的压缩处理信息和存储处理信息；从预设的多个压缩算法中，选取与所述压缩处理信息相匹配的目标压缩算法，以及，从预设的多个存储算法中，选取与所述存储处理信息相匹配的目标存储算法；通过所述目标压缩算法压缩所述待处理日志，以及通过所述目标存储算法存储压缩后的所述待处理日志。

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：获取需要进行处理的待处理日志；确定所述待处理日志对应的压缩处理信息和存储处理信息；从预设的多个压缩算法中，选取与所述压缩处理信息相匹配的目标压缩算法，以及，从预设的多个存储算法中，选取与所述存储处理信息相匹配的目标存储算法；通过所述目标压缩算法压缩所述待处理日志，以及通过所述目标存储算法存储压缩后的所述待处理日志。2.根据权利要求1所述的方法，其特征在于，从预设的多个压缩算法中，选取与所述压缩处理信息相匹配的目标压缩算法，包括：判断当前设置的压缩算法是否与所述压缩处理信息相匹配；若是，则选取所述当前设置的压缩算法作为目标压缩算法；若否，则从预设的其他压缩算法中选取与所述压缩处理信息相匹配的目标压缩算法。3.根据权利要求2所述的方法，其特征在于，从预设的其他压缩算法中选取与所述压缩处理信息相匹配的目标压缩算法，包括：从预设的其他压缩算法中确定与所述压缩处理信息相匹配的多个候选压缩算法；在各个所述候选压缩算法中，选取运行时消耗资源最少的算法作为所述目标压缩算法。4.根据权利要求1所述的方法，其特征在于，从预设的多个存储算法中，选取与所述存储处理信息相匹配的目标存储算法，包括：判断当前设置的存储算法是否与所述存储处理信息相匹配；若是，则选取所述当前设置的存储算法作为目标存储算法；若否，则从预设的其他存储算法中选取与所述存储处理信息相匹配的目标存储算法。5.根据权利要求4所述的方法，其特征在于，从预设的其他存储算法中选取与所述存储处理信息相匹配的目标存储算法，包括：从预设的其他存储算法中确定与所述存储处理信息相匹配的多个候选存储算法；在各个所述候选存储算法中，选取运行时消耗资源最少的算法作为所述目标存储算法。6.根据权利要求1至5任一项所述的方法，其特征在于，确定所述待处理日志对应的压缩处理信息和存储处理信息，包括：确定所述待处理日志的压缩算法性能要求和/或业务类型；将所述压缩算法性能要求和/或所述业务类型作为所述待处理日志对应的压缩处理信息，将所述业务类型作为所述待处理日志对应的存储处理信息。7.根据权利要求6所述的方法，其特征在于，确定所述待处理日志的压缩算法性能要求，包括：确定对所述待处理日志进行压缩的压缩设备；根据所述压缩设备的当前负载，确定所述待处理日志的压缩算法性能要求。8.根据权利要求6所述的方法，其特征在于，确定所述待处理日志的业务类型，包括：根据所述待处理日志携带的业务类型标识，确定所述待处理日志的业务类型；或者，确定所述待处理日志的格式特征，根据所述格式特征以及预设的格式特征与业务类型之间的对应关系，确定所述待处理...

【专利技术属性】
技术研发人员：朱辉，李涛，
申请(专利权)人：北京麒麟合盛网络技术有限公司，
类型：发明
国别省市：北京,11