分布式存储系统的数据压缩方法、电子设备及存储介质技术方案

本申请公开了一种分布式存储系统的数据压缩方法、电子设备及非易失性计算机可读的存储介质。该数据压缩方法包括：在文件存储完成后，所述服务节点确定所述数据节点中数据块的数据状态，所述数据状态包括冷数据状态和热数据状态；所述服务节点向所述数据状态为所述冷数据状态的数据块所在的所述数据节点下发数据压缩任务；所述数据节点基于所述数据压缩任务对所述数据状态为所述冷数据状态的数据块进行数据压缩。上述方案，能减少存储空间的浪费，且能够降低数据压缩对数据写入的影响。且能够降低数据压缩对数据写入的影响。且能够降低数据压缩对数据写入的影响。

【技术实现步骤摘要】
分布式存储系统的数据压缩方法、电子设备及存储介质


[0001]本申请涉及数据存储
，特别是涉及一种分布式存储系统的数据压缩方法、电子设备及非易失性计算机可读的存储介质。

技术介绍

[0002]在分布式存储系统中，文件被切分成多个对象(Object)，Object又按纠删码被切分成多个数据块(Block)，其中，文件的元数据由元数据节点进行管理，数据块由一个或多个数据节点进行存储。因此对数据的压缩，实际上是对保存在各个数据节点上的数据块的压缩。
[0003]在视频监控等领域，数据的读写特征为写多读少，特别是针对历史数据的读取频率不高，因此对于这些数据读取的读取速率可容忍小幅下降，但是这些历史数据占用的存储空间和新写入的数据大小一致，导致了存储空间的浪费。

技术实现思路

[0004]本申请至少提供一种分布式存储系统的数据压缩方法、电子设备及非易失性计算机可读的存储介质，以减少存储空间的浪费，减少因压缩热数据状态的数据块导致的读取速度低的概率，且降低数据压缩对数据写入的影响。
[0005]本申请第一方面提供了一种分布式存储系统的数据压缩方法。数据压缩方法包括：在文件存储完成后，所述服务节点确定所述数据节点中数据块的数据状态，所述数据状态包括冷数据状态和热数据状态；所述服务节点向所述数据状态为所述冷数据状态的数据块所在的所述数据节点下发数据压缩任务；所述数据节点基于所述数据压缩任务对所述数据状态为所述冷数据状态的数据块进行数据压缩。
[0006]其中，所述确定所述数据节点中数据块的数据状态，包括：获取所述目标文件的生命周期及预设比例；获取所述数据块在所述数据节点中的保存时间；响应于所述保存时间大于所述生命周期的所述预设比例，确定所述数据块的数据状态为所述冷数据状态。
[0007]其中，所述分布式存储系统还包括元数据节点，所述获取所述数据块在所述数据节点中的保存时间，包括：从所述元数据节点获取所述目标文件的创建时间；基于所述创建时间确定所述数据块的保存时间。
[0008]其中，基于所述数据压缩任务对所述数据块进行数据压缩的方法包括：基于所述数据压缩任务确定待压缩的所述数据块的标识信息；读取与所述标识信息对应的所述数据块到内存中；对所述内存中的所述数据块进行压缩；计算压缩后的所述数据块的CRC；删除与所述标识信息对应的未压缩的所述数据块，并将压缩后的所述数据块的元数据上报给所述元数据节点。
[0009]其中，在所述对所述内存中的所述数据块进行压缩后，还包括：对压缩后的所述数据块进行压缩标记。
[0010]其中，所述分布式存储系统还包括元数据节点，所述服务节点向所述数据状态为
所述冷数据状态的数据块所在的所述数据节点下发数据压缩任务，包括：所述服务节点获取所述数据状态为所述冷数据状态的所述数据块的标识信息；基于所述标识信息生成数据块压缩任务，并将所述数据压缩任务发送给所述元数据节点；所述元数据节点基于所述目标文件中数据块在所述数据节点上的存储信息向所述数据节点下发所述数据块压缩任务。
[0011]其中，基于所述目标文件中数据块在所述数据节点上的存储信息向所述数据节点下发所述数据块压缩任务，包括：获取所述数据节点的当前压缩任务量；响应于所述当前压缩任务量大于或等于可执行任务量，则将所述数据压缩任务缓存在所述数据节点的任务队列中；响应于所述当前压缩任务量小于所述可执行任务量，则将所述数据压缩任务下发给所述数据节点。
[0012]其中，所述分布式存储系统还包括元数据节点及在所述服务节点确定所述数据节点中数据块的数据状态之前，包括：所述元数据节点根据所述数据节点的负载情况确定用于存储所述目标文件的数据节点；客户端将所述目标文件分成多个数据块后，分别写入到所述用于存储所述目标文件的数据节点中；所述用于存储所述目标文件的数据节点完成数据块写入后，向所述元数据节点上报所述数据块的元数据。
[0013]其中，所述客户端从数据节点读取所述数据块；所述客户端判断读取的所述数据块是否被标记；若是，由所述客户端解压缩后再返回给上层业务层。
[0014]其中，所述数据节点读取所述数据块时，判断所述数据块是否被压缩；若是，则对被压缩的所述数据块进行解压缩；通过纠删码对解压缩后的数据进行恢复；将恢复出来的数据块进行压缩，再存储到磁盘内，且进行压缩标记。
[0015]为解决上述技术问题，本申请采用的另一种技术方案是：一种电子设备，包括：处理器；存储器，连接所述处理器，用于存储可在所述处理器上运行的计算机程序；其中，所述处理器执行所述计算机程序时实现上述的数据压缩方法。
[0016]为解决上述技术问题，本申请采用的另一种技术方案是：一种计算机可读的存储介质，所述计算机可读的存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据压缩方法。
[0017]上述方案，本申请在目标文件存储完成后，即在数据块存储到数据节点后，向存储有数据块的数据节点发送数据块压缩任务，由数据节点进行数据块的压缩，能够实现数据的异步压缩，不是在数据写入时进行压缩，能够减少数据压缩对数据写入的影响；且本申请在对数据块进行压缩之前，确定数据块的数据状态，仅对数据状态为冷数据状态的数据块进行数据压缩，不仅能够减少存储空间的浪费，还能减少因压缩热数据状态的数据块(即读取概率高的数据块)导致的读取速度低的概率。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0020]图1是本申请实现的分布式存储系统的数据压缩方法的第一实施例的流程示意图；
[0021]图2是图1实施例中步骤S11的具体流程示意图；
[0022]图3是图1实施例中步骤S12的具体流程示意图；
[0023]图4是图3实施例中步骤S33的具体流程示意图；
[0024]图5是本申请实施例的数据压缩过程的流程示意图；
[0025]图6是本申请实现的分布式存储系统的数据压缩方法的第二实施例的流程示意图；
[0026]图7是本申请实施例读取压缩数据的流程示意图；
[0027]图8是本申请实施例恢复压缩数据的流程示意图；
[0028]图9是本申请实现的分布式存储系统的数据压缩方法的第三实施例的流程示意图；
[0029]图10是本申请一实施例提供的计算机设备的结构示意图；
[0030]图11是本申请一实施例提供的计算机可读的存储介质的结构示意框图。
具体实施方式
[0031]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0032]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0033]本文中术语“和/或”，仅仅是一种描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储系统的数据压缩方法，其特征在于，所述分布式存储系统包括多个数据节点及服务节点，所述数据压缩方法包括：在文件存储完成后，所述服务节点确定所述数据节点中数据块的数据状态，所述数据状态包括冷数据状态和热数据状态；所述服务节点向所述数据状态为所述冷数据状态的数据块所在的所述数据节点下发数据块压缩任务；所述数据节点基于所述数据块压缩任务对所述数据状态为所述冷数据状态的数据块进行数据压缩。2.根据权利要求1所述的数据压缩方法，其特征在于，所述确定所述数据节点中数据块的数据状态，包括：获取所述文件的生命周期及预设比例；获取所述数据块在所述数据节点中的保存时间；响应于所述保存时间大于所述生命周期的所述预设比例，确定所述数据块的数据状态为所述冷数据状态。3.根据权利要求2所述的数据压缩方法，其特征在于，所述分布式存储系统还包括元数据节点，所述获取所述数据块在所述数据节点中的保存时间，包括：从所述元数据节点获取所述文件的创建时间；基于所述创建时间确定所述数据块的保存时间。4.根据权利要求1所述的数据压缩方法，其特征在于，基于所述数据块压缩任务对所述数据状态为所述冷数据状态的数据块进行数据压缩的方法包括：基于所述数据压缩任务确定待压缩的所述数据块的标识信息；读取与所述标识信息对应的所述数据块到内存中；对所述内存中的所述数据块进行压缩；计算压缩后的所述数据块的CRC；删除与所述标识信息对应的未压缩的所述数据块，并将压缩后的所述数据块的元数据上报给所述元数据节点。5.根据权利要求4所述的数据压缩方法，其特征在于，在所述对所述内存中的所述数据块进行压缩后，还包括：对压缩后的所述数据块进行压缩标记。6.根据权利要求1所述的数据压缩方法，其特征在于，所述分布式存储系统还包括元数据节点，所述服务节点向所述数据状态为所述冷数据状态的数据块所在的所述数据节点下发数据压缩任务，包括：所述服务节点获取所述数据状态为所述冷数据状态的所述数据块对应的文件的标识信息；基于所述标识信息生成冷数据压缩任务，并将所述冷数据压缩任务...

【专利技术属性】
技术研发人员：李孔强，徐涛，罗心，江文龙，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：