数据压缩方法、压缩监视器、电子设备及存储介质技术

本发明专利技术提供的数据压缩方法、压缩监视器、电子设备及存储介质，属于计算机技术领域，包括：根据描述文件和系统日志，确定写请求的配置文件和请求标识，所述描述文件和系统日志是由目标设备接收写请求并响应所生成的；根据所述配置文件，确定所述写请求的压缩模式和压缩算法；基于所述压缩模式和所述请求标识，在确定所述写请求需要压缩的情况下，调用所述压缩算法，以对所述写请求进行压缩。本发明专利技术提供的数据压缩方法、压缩监视器、电子设备及存储介质，通过读取写请求的配置文件，从而确定写请求的压缩模式和压缩算法，从而对FileStore后端存储方式数据压缩功能提供更细粒度的实现和控制。和控制。和控制。

【技术实现步骤摘要】
数据压缩方法、压缩监视器、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据压缩方法、压缩监视器、电子设备及存储介质。

技术介绍

[0002]Ceph在使用过程中数据往往存在大量冗余，占用过多的空间，造成成本浪费的问题，而压缩功能用更小的数据量表示更多的数据，是解决数据冗余的有效办法。
[0003]目前，无损压缩支持bluestore、FileStore两种实现方式，在特定的场景中，FileStore的后端存储实现方式更容易的实现适应用户读写数据特点的调优工作。
[0004]然而，在使用FileStore搭配BTRFS的压缩后，整个文件系统下的所有文件都将被压缩，存在压缩细粒度不足的缺陷。

技术实现思路

[0005]本专利技术提供的数据压缩方法、压缩监视器、电子设备及存储介质，用以解决现有技术中在使用FileStore搭配BTRFS的压缩后，整个文件系统下的所有文件都将被压缩，存在压缩细粒度不足的缺陷，实现通过读取写请求的配置文件，从而确定写请求的压缩模式和压缩算法，从而对FileStore后端存储方式数据压缩功能提供更细粒度的实现和控制。
[0006]本专利技术提供一种数据压缩方法，应用于压缩监视器，包括：
[0007]根据描述文件和系统日志，确定写请求的配置文件和请求标识，所述描述文件和系统日志是由目标设备接收写请求并响应所生成的；
[0008]根据所述配置文件，确定所述写请求的压缩模式和压缩算法；
[0009]基于所述压缩模式和所述请求标识，在确定所述写请求需要压缩的情况下，调用所述压缩算法，以对所述写请求进行压缩。
[0010]根据本专利技术提供的一种数据压缩方法，所述基于所述压缩模式和所述请求标识，在确定所述写请求需要压缩的情况下，调用所述压缩算法，以对所述写请求进行压缩，包括：
[0011]基基于所述压缩模式和所述请求标识，确定所述写请求的判定结果；
[0012]在所述判定结果为写请求压缩的情况下，配置所述写请求的压缩比例和压缩对象；所述压缩对象是根据目标设备的硬盘容量确定的；
[0013]基于所述压缩比例和所述压缩对象，在确定所述写请求需要压缩的情况下，利用所述压缩算法压缩所述写请求。
[0014]根据本专利技术提供的一种数据压缩方法，所述基于所述压缩模式和所述请求标识，确定所述写请求的判定结果，包括：
[0015]在所述压缩模式为第一模式的情况下，确定所述判定结果为写请求不压缩；
[0016]在所述压缩模式为第二模式，且所述写请求中带有的请求标识为压缩的情况下，确定所述判定结果为写请求压缩；
[0017]在所述压缩模式为第三模式，且所述写请求中不带不压缩的请求标识的情况下，确定所述判定结果为写请求压缩；
[0018]在所述压缩模式为第四模式的情况下，确定所述判定结果为写请求压缩。
[0019]根据本专利技术提供的一种数据压缩方法，配置所述写请求的压缩对象，包括以下步骤：
[0020]根据所述目标设备的硬盘容量，确定最大对象容量；
[0021]在所述写请求大于所述最大对象容量的情况下，将所述写请求分解为多个数据块，以确定所述多个数据块为压缩对象。
[0022]根据本专利技术提供的一种数据压缩方法，所述基于所述压缩比例和所述压缩对象，调用所述压缩算法对所述写请求进行压缩，包括；
[0023]调用所述压缩算法按所述压缩比例对每个数据块分别进行压缩。
[0024]根据本专利技术提供的一种数据压缩方法，在所述根据所述配置文件，确定所述写请求的压缩模式和压缩算法之前，还包括：
[0025]在所述根据所述配置文件，确定所述写请求的压缩模式和压缩算法之前，还包括：
[0026]迭代执行以下步骤，直至根据新的压缩开关阀值，确定上述压缩模式开启：
[0027]根据文件系统的描述文件和存储平台的系统日志，确定所述写请求的压缩开关阀值；所述压缩开关阀值用于指示所述写请求的压缩模式的开启或关闭；
[0028]在根据所述压缩开关阀值，确定压缩模式是未开启的情况下，发送开启指令，以修改所述写请求中的压缩开关阀值；
[0029]再次根据文件系统的描述文件和存储平台的系统日志，确定新的压缩开关阀值。
[0030]根据本专利技术提供的一种数据压缩方法，在所述根据描述文件和系统日志，确定写请求的配置文件和请求标识之前，还包括：
[0031]将目标设备根据本地存储模块的权重进行空间划分，生成多个分区；将文件系统中的描述文件指向每个分区的目标部分；
[0032]将所述描述文件的数据存储区域与所述目标部分对齐。
[0033]本专利技术还提供一种压缩监视器，包括：
[0034]第一确定单元，用于根据描述文件和系统日志，确定写请求的配置文件和请求标识，所述描述文件和系统日志是由目标设备接收写请求并响应所生成的；
[0035]第二确定单元，用于根据所述配置文件，确定所述写请求的压缩模式和压缩算法；
[0036]调用单元，用于基于所述压缩模式和所述请求标识，在确定所述写请求需要压缩的情况下，调用所述压缩算法，以对所述写请求进行压缩。
[0037]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据压缩方法。
[0038]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据压缩方法。
[0039]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据压缩方法。
[0040]本专利技术提供的数据压缩方法、压缩监视器、电子设备及存储介质，通过读取写请求
的配置文件，从而确定写请求的压缩模式和压缩算法，从而对FileStore后端存储方式数据压缩功能提供更细粒度的实现和控制。
附图说明
[0041]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是本专利技术提供的数据压缩方法的流程示意图之一；
[0043]图2是本专利技术提供的Ceph架构的应用示意图之一；
[0044]图3是本专利技术提供的Ceph架构的应用示意图之二；
[0045]图4是本专利技术提供的数据压缩方法的流程示意图之二；
[0046]图5是本专利技术提供的压缩监视器的结构示意图；
[0047]图6是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0048]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，其特征在于，应用于压缩监视器，包括：根据描述文件和系统日志，确定写请求的配置文件和请求标识，所述描述文件和系统日志是由目标设备接收写请求并响应所生成的；根据所述配置文件，确定所述写请求的压缩模式和压缩算法；基于所述压缩模式和所述请求标识，在确定所述写请求需要压缩的情况下，调用所述压缩算法，以对所述写请求进行压缩。2.根据权利要求1所述的数据压缩方法，其特征在于，所述基于所述压缩模式和所述请求标识，在确定所述写请求需要压缩的情况下，调用所述压缩算法，以对所述写请求进行压缩，包括：基于所述压缩模式和所述请求标识，确定所述写请求的判定结果；在所述判定结果为写请求压缩的情况下，配置所述写请求的压缩比例和压缩对象；所述压缩对象是根据目标设备的硬盘容量确定的；基于所述压缩比例和所述压缩对象，在确定所述写请求需要压缩的情况下，利用所述压缩算法压缩所述写请求。3.根据权利要求2所述的数据压缩方法，其特征在于，所述基于所述压缩模式和所述请求标识，确定所述写请求的判定结果，包括：在所述压缩模式为第一模式的情况下，确定所述判定结果为写请求不压缩；在所述压缩模式为第二模式，且所述写请求中带有的请求标识为压缩的情况下，确定所述判定结果为写请求压缩；在所述压缩模式为第三模式，且所述写请求中不带不压缩的请求标识的情况下，确定所述判定结果为写请求压缩；在所述压缩模式为第四模式的情况下，确定所述判定结果为写请求压缩。4.根据权利要求2所述的数据压缩方法，其特征在于，配置所述写请求的压缩对象，包括以下步骤：根据所述目标设备的硬盘容量，确定最大对象容量；在所述写请求大于所述最大对象容量的情况下，将所述写请求分解为多个数据块，以确定所述多个数据块为压缩对象。5.根据权利要求4所述的数据压缩方法，其特征在于，所述基于所述压缩比例和所述压缩对象，调用所述压缩算法对所述写请求进行压缩，包括；调用所述压缩算法按所述压缩比例对每个数...

【专利技术属性】
技术研发人员：潘高峰，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：