一种日志文件压缩的方法、系统、设备及介质技术方案

本发明专利技术公开了一种日志文件压缩的方法、系统、设备和存储介质，方法包括：响应于对日志文件进行压缩，通过配置文件确认当前使用的同步方式；根据所述当前使用的同步方式确定关键字，根据所述关键字匹配待压缩的日志文件的名称，并根据所述名称确定对应的日志文件；对所述日志文件进行编码并加入校验信息以生成压缩文件，并将所述压缩文件写入预设的存储介质中；以及根据所述存储介质的地址对所述日志文件的索引文件进行修改。本发明专利技术根据不同的同步方式采用不同的关键字，从而匹配相应的日志文件，形成了多样化的压缩日志文件的方式，适用性更强；在日志文件的压缩过程中加入校验信息，能够避免了人为错误的发生。能够避免了人为错误的发生。能够避免了人为错误的发生。

【技术实现步骤摘要】
一种日志文件压缩的方法、系统、设备及介质


[0001]本专利技术涉及日志文件压缩领域，更具体地，特别是指一种日志文件压缩的方法、系统、计算机设备及可读介质。

技术介绍

[0002]系统的高可用性一直是衡量一个软件系统可靠性的重要指标，mysql作为常用的数据库，其容灾能力是衡量系统高可用性中十分重要的部分。数据库的容灾通常由多个数据库节点组成一个高可用环境来实现，为了解决各个节点间的数据同步，现有的技术有异步复制技术、半同步复制技术和组同步技术(mysql Group Replication)，这些技术是基于mysql的binlog来实现的，binlog就是binary log，是二进制日志文件，这个文件记录了MySQL所有的DML(Data Manipulation Language，数据操作语言)操作。通过binlog日志可以进行数据恢复、增量备份、主主复制和主从复制等等。
[0003]Binlog记录了数据库运行过程中对数据库的修改操作，通过将binlog复制、回放到备用节点，即可以在备用节点将数据进行同步。Binlog中记录了数据库的详细变更，在数据量较大的情况下，binlog文件的大小将会快速增加，极大地消耗硬盘资源。同时，如果mysql出现问题，需要恢复时又需要将binlog保存下来，这就导致了在较大资源量的情况下，mysql环境中只能保存较短时间的日志文件，这样会导致在某些情况下，恢复mysql同步或者有新节点加入时，部分binlog被删除，导致这部分GTID(全局事务标识符)对应的事务被删除，同步失败。

技术实现思路

[0004]有鉴于此，本专利技术实施例的目的在于提出一种日志文件压缩的方法、系统、计算机设备及计算机可读存储介质，本专利技术根据不同的同步方式采用不同的关键字，并根据关键字匹配相应的日志文件进行压缩，从而形成了多样化的压缩日志文件的方式，适用性更强；在日志文件的压缩过程中加入校验信息，能够避免了人为错误的发生；并且，有效地减少了对硬盘资源的占用，在硬盘资源有限的环境下，可以有效地延长保存日志的时间，提高了mysql同步在实际使用中的效果。
[0005]基于上述目的，本专利技术实施例的一方面提供了一种日志文件压缩的方法，包括如下步骤：响应于对日志文件进行压缩，通过配置文件确认当前使用的同步方式；根据所述当前使用的同步方式确定关键字，根据所述关键字匹配待压缩的日志文件的名称，并根据所述名称确定对应的日志文件；对所述日志文件进行编码并加入校验信息以生成压缩文件，并将所述压缩文件写入预设的存储介质中；以及根据所述存储介质的地址对所述日志文件的索引文件进行修改。
[0006]在一些实施方式中，所述根据所述当前使用的同步方式确定关键字包括：获取所述同步方式的映射关系，并根据所述映射关系确定所述同步方式对应的关键字。
[0007]在一些实施方式中，所述根据所述关键字匹配待压缩的文件名称包括：根据所述
关键字匹配规则，并根据所述规则确定待压缩的文件名称。
[0008]在一些实施方式中，所述对所述日志文件进行编码并加入校验信息以生成压缩文件包括：在所述日志文件的首个缓冲区长度中写入介质访问控制信息。
[0009]在一些实施方式中，所述对所述日志文件进行编码并加入校验信息以生成压缩文件包括：在所述日志文件的字节最后一位写入服务标识。
[0010]在一些实施方式中，所述将所述压缩文件写入预设的存储介质中包括：读取所述压缩文件的介质访问控制信息，并判断所述存储介质中是否存在与所述压缩文件的介质访问控制信息相同的第一压缩文件；以及响应于所述存储介质中存在与所述压缩文件的介质访问控制信息相同的第一压缩文件，将所述压缩文件与所述第一压缩文件放入同一存储队列。
[0011]在一些实施方式中，所述根据所述存储介质的地址对所述日志文件的索引文件进行修改包括：获取所述存储队列的地址，并利用所述地址替换所述日志文件对应的索引文件的地址。
[0012]本专利技术实施例的另一方面，提供了一种日志文件压缩的系统，包括：同步模块，配置用于响应于对日志文件进行压缩，通过配置文件确认当前使用的同步方式；匹配模块，配置用于根据所述当前使用的同步方式确定关键字，根据所述关键字匹配待压缩的日志文件的名称，并根据所述名称确定对应的日志文件；压缩模块，配置用于对所述日志文件进行编码并加入校验信息以生成压缩文件，并将所述压缩文件写入预设的存储介质中；以及修改模块，配置用于根据所述存储介质的地址对所述日志文件的索引文件进行修改。
[0013]本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
[0014]本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
[0015]本专利技术具有以下有益技术效果：根据不同的同步方式采用不同的关键字，并根据关键字匹配相应的日志文件进行压缩，从而形成了多样化的压缩日志文件的方式，适用性更强；在日志文件的压缩过程中加入校验信息，能够避免了人为错误的发生；并且，有效地减少了对硬盘资源的占用，在硬盘资源有限的环境下，可以有效地延长保存日志的时间，提高了mysql同步在实际使用中的效果。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0017]图1为本专利技术提供的日志文件压缩的方法的实施例的示意图；
[0018]图2为本专利技术提供的日志文件压缩的计算机设备的实施例的硬件结构示意图；
[0019]图3为本专利技术提供的日志文件压缩的计算机存储介质的实施例的示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0021]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0022]本专利技术实施例的第一个方面，提出了一种日志文件压缩的方法的实施例。图1示出的是本专利技术提供的日志文件压缩的方法的实施例的示意图。
[0023]如图1所示，本专利技术实施例包括如下步骤：
[0024]S1、响应于对日志文件进行压缩，通过配置文件确认当前使用的同步方式；
[0025]S2、根据所述当前使用的同步方式确定关键字，根据所述关键字匹配待压缩的日志文件的名称，并根据所述名称确定对应的日志文件；
[0026]S3、对所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志文件压缩的方法，其特征在于，包括以下步骤：响应于对日志文件进行压缩，通过配置文件确认当前使用的同步方式；根据所述当前使用的同步方式确定关键字，根据所述关键字匹配待压缩的日志文件的名称，并根据所述名称确定对应的日志文件；对所述日志文件进行编码并加入校验信息以生成压缩文件，并将所述压缩文件写入预设的存储介质中；以及根据所述存储介质的地址对所述日志文件的索引文件进行修改。2.根据权利要求1所述的方法，其特征在于，所述根据所述当前使用的同步方式确定关键字包括：获取所述同步方式的映射关系，并根据所述映射关系确定所述同步方式对应的关键字。3.根据权利要求1所述的方法，其特征在于，所述根据所述关键字匹配待压缩的文件名称包括：根据所述关键字匹配规则，并根据所述规则确定待压缩的文件名称。4.根据权利要求1所述的方法，其特征在于，所述对所述日志文件进行编码并加入校验信息以生成压缩文件包括：在所述日志文件的首个缓冲区长度中写入介质访问控制信息。5.根据权利要求4所述的方法，其特征在于，所述对所述日志文件进行编码并加入校验信息以生成压缩文件包括：在所述日志文件的字节最后一位写入服务标识。6.根据权利要求4所述的方法，其特征在于，所述将所述压缩文件写入预设的存储介质中包括：读取所述压缩文件的介质访问控制信息，并判断所述存储介质中是否存在与所述压缩文件的介质访问控制信息相同的第一压...

【专利技术属性】
技术研发人员：马骏峰，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：