基于人工智能的日志文件压缩方法、设备和存储介质技术

本发明专利技术提供了一种基于人工智能的日志文件压缩方法、设备和存储介质，包括：获取经过第一压缩方式压缩得到的第一日志压缩文件；采用与第一压缩方式对应的解压缩方式对第一日志压缩文件进行解压缩处理，得到日志文件；采用第二压缩方式对日志文件进行压缩处理，得到并存储第二日志压缩文件；第一压缩方式的压缩比低于第二压缩方式的压缩比，第一压缩方式所占用的IO资源少于第二压缩方式所占用的IO资源。本发明专利技术能够针对日志集中存储的写入速度和压缩比，实现了便于实时追加的第一压缩方式以及高压缩比的第二压缩方式的结合，能够降低日志写入、存储对系统的IO资源以及存储空间，在不增加系统复杂度的前提下，实现了日志的高写入速度和高压缩比。速度和高压缩比。速度和高压缩比。

【技术实现步骤摘要】
基于人工智能的日志文件压缩方法、设备和存储介质


[0001]本专利技术实施例涉及但不限于人工智能
，尤其涉及一种基于人工智能的日志文件压缩方法、日志文件压缩装置、计算机设备和计算机可读存储介质。

技术介绍

[0002]日志是系统运行很重要的一部分，日志集中存储为日志统一管理、统一分析提供了基础。为支持高写入速度要求、节省存储成本，除针对写入速度要求、重要性、保存时长、查看频次选择合适的存储介质外，日志文件的压缩方式也是至关重要的。
[0003]通常日志系统都要保证近实时性则实时追加,常用的压缩方式大概可以分为以下两种类型:第一、实时追加写入使用文本格式，当日志轮转时停止写入的文件用gz、7z、zip等方式压缩，其优点是压缩比高，缺点是实时追加没有压缩的文本占用更多的IO、当前正在写入的文件占用更多的存储；第二、采用snappy等便于快速追加的压缩格式，其优点是日志写入占用IO低、速度快，缺点是压缩比低、格式不通用不便于下载查看。
[0004]对于日志集中存储系统，存储的日志来源于很多不同的系统。为便于之后查找到对应系统的日志，通常每个来源的日志会写入不同的文件。通常在以星期、天为单位的时间范围内,单个日志来源一直有日志写入，但在小时、分钟为单位的时间内可能没有日志写入。为支持存储更多来源的日志，避免占用太多的文件句柄，通常在一段时间内没有日志追加需要关闭文件句柄；而在重新写入时，又需要能快速的打开文件句柄进行追加。
[0005]因此，要求正在写入的文件是便于随时可以打开追加的，这就排除了直接使用gz、7z、zip等高压缩比但不便于快速重新打开追加数据的方式写入，从而只能用文本格式写入或者便于追加字节的压缩方式；而文本写入占用IO高，并且当前正在写入的文件占用更多的存储，而为支持快速写入这部分存储通常性能好、价格较贵；便于追加字节的压缩方式压缩比不高，并且格式不常用，不便于下载查看日志。

技术实现思路

[0006]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0007]本专利技术实施例提供了一种基于人工智能的日志文件压缩方法、日志文件压缩装置、计算机设备和计算机可读存储介质，能够实现日志的高写入速度和高压缩比。
[0008]第一方面，本专利技术实施例提供了一种基于人工智能的日志文件压缩方法，包括：
[0009]获取经过第一压缩方式压缩得到的第一日志压缩文件；
[0010]采用与所述第一压缩方式对应的解压缩方式对所述第一日志压缩文件进行解压缩处理，得到日志文件；
[0011]采用第二压缩方式对所述日志文件进行压缩处理，得到第二日志压缩文件，并存储所述第二日志压缩文件；其中，所述第一压缩方式的压缩比低于所述第二压缩方式的压缩比，所述第一压缩方式所占用的IO资源少于所述第二压缩方式所占用的IO资源。
[0012]在一些实施例中，所述采用与所述第一压缩方式对应的解压缩方式对所述第一日志压缩文件进行解压缩处理，得到日志文件，包括：
[0013]从所述第一日志压缩文件中获取多个目标大小的数据块；
[0014]采用与所述第一压缩方式对应的解压缩方式对多个所述数据块进行解压缩处理，得到与每个所述数据块一一对应的日志文件。
[0015]在一些实施例中，所述采用第二压缩方式对所述日志文件进行压缩处理，得到第二日志压缩文件，并存储所述第二日志压缩文件，包括：
[0016]采用第二压缩方式对多个所述日志文件进行压缩处理，得到与多个所述日志文件一一对应的字节信息；
[0017]合并所有所述字节信息，得到第二日志压缩文件，并存储所述第二日志压缩文件。
[0018]在一些实施例中，在所述采用第二压缩方式对多个所述日志文件进行压缩处理之前，所述日志文件压缩方法还包括：新建与所述第二压缩方式对应的目标类型文件，并在所述目标类型文件中生成文件条目；
[0019]对应地，在所述得到多个与所述日志文件一一对应的字节信息之后，所述日志文件压缩方法还包括：将所述字节信息写入至所述文件条目。
[0020]在一些实施例中，在所述存储所述第二日志压缩文件之后，所述日志文件压缩方法还包括：
[0021]对所述第一日志压缩文件进行删除。
[0022]在一些实施例中，对所述第一日志压缩文件进行解压缩处理的解压缩过程以及对所述日志文件进行压缩处理的压缩过程均在内存中执行。
[0023]在一些实施例中，所述第一压缩方式的压缩比低于所述第二压缩方式的压缩比，所述第一压缩方式所占用的IO资源少于所述第二压缩方式所占用的IO资源；其中，经过所述第一压缩方式压缩得到的压缩文件的格式包括snappy格式，经过所述第二压缩方式压缩得到的压缩文件的格式包括zip格式、7z格式或者gz格式。
[0024]第二方面，本专利技术实施例还提供了一种日志文件压缩装置，包括：
[0025]获取单元，用于获取经过第一压缩方式压缩得到的第一日志压缩文件；
[0026]解压缩单元，用于采用与所述第一压缩方式对应的解压缩方式对所述第一日志压缩文件进行解压缩处理，得到日志文件；
[0027]压缩单元，用于采用第二压缩方式对所述日志文件进行压缩处理，得到第二日志压缩文件，并存储所述第二日志压缩文件。
[0028]第三方面，本专利技术实施例还提供了一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的日志文件压缩方法。
[0029]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的日志文件压缩方法。
[0030]本专利技术实施例包括：首先，获取经过第一压缩方式压缩得到的第一日志压缩文件；然后，采用与所述第一压缩方式对应的解压缩方式对所述第一日志压缩文件进行解压缩处理，得到日志文件；接着，采用第二压缩方式对所述日志文件进行压缩处理，得到第二日志压缩文件，并存储所述第二日志压缩文件；其中，所述第一压缩方式的压缩比低于所述第二
压缩方式的压缩比，所述第一压缩方式所占用的IO资源少于所述第二压缩方式所占用的IO资源。根据本专利技术实施例的技术方案，本专利技术实施例选择将第一日志压缩文件进行解压缩，得到文本格式的日志文件，接着再采用第二压缩方式对日志文件进行压缩，因此，本专利技术实施例能够针对日志集中存储的写入速度和压缩比，实现了便于实时追加的第一压缩方式以及高压缩比的第二压缩方式的结合，能够降低日志写入、存储对系统的关键消耗即IO资源以及存储空间，在不增加系统复杂度的前提下，实现了日志的高写入速度和高压缩比。
[0031]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的日志文件压缩方法，其特征在于，包括：获取经过第一压缩方式压缩得到的第一日志压缩文件；采用与所述第一压缩方式对应的解压缩方式对所述第一日志压缩文件进行解压缩处理，得到日志文件；采用第二压缩方式对所述日志文件进行压缩处理，得到第二日志压缩文件，并存储所述第二日志压缩文件；其中，所述第一压缩方式的压缩比低于所述第二压缩方式的压缩比，所述第一压缩方式所占用的IO资源少于所述第二压缩方式所占用的IO资源。2.根据权利要求1所述的日志文件压缩方法，其特征在于，所述采用与所述第一压缩方式对应的解压缩方式对所述第一日志压缩文件进行解压缩处理，得到日志文件，包括：从所述第一日志压缩文件中获取多个目标大小的数据块；采用与所述第一压缩方式对应的解压缩方式对多个所述数据块进行解压缩处理，得到与每个所述数据块一一对应的日志文件。3.根据权利要求2所述的日志文件压缩方法，其特征在于，所述采用第二压缩方式对所述日志文件进行压缩处理，得到第二日志压缩文件，并存储所述第二日志压缩文件，包括：采用第二压缩方式对多个所述日志文件进行压缩处理，得到与多个所述日志文件一一对应的字节信息；合并所有所述字节信息，得到第二日志压缩文件，并存储所述第二日志压缩文件。4.根据权利要求3所述的日志文件压缩方法，其特征在于，在所述采用第二压缩方式对多个所述日志文件进行压缩处理之前，所述日志文件压缩方法还包括：新建与所述第二压缩方式对应的目标类型文件，并在所述目标类型文件中生成文件条目；对应地，在所述得到多个与所述日志文件...

【专利技术属性】
技术研发人员：顾青成，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：