数据压缩方法、装置、计算设备及存储系统制造方法及图纸

本申请公开了一种数据压缩方法、装置、计算设备及存储系统，涉及数据压缩领域。该方法包括：计算设备对待压缩数据进行压缩时，根据影响待压缩数据的压缩结果的参数确定待压缩数据的压缩特征值，根据压缩特征值确定压缩待压缩数据的压缩策略，根据压缩策略对待压缩数据进行压缩得到压缩后数据，并存储压缩后数据。如此，相对于计算设备采用一种压缩算法对不同特征的数据进行压缩，本申请提供的数据压缩方法中计算设备使用的压缩策略是依据影响待压缩数据的压缩结果的特征选取得到，利用匹配待压缩数据的特征的压缩策略对待压缩数据进行压缩，能够有效地提高数据的压缩率。能够有效地提高数据的压缩率。能够有效地提高数据的压缩率。

【技术实现步骤摘要】
数据压缩方法、装置、计算设备及存储系统
[0001]本申请要求于2021年07月08日提交国家知识产权局、申请号为202110773759.3、申请名称为“一种数据处理的方法、装置和系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及数据压缩领域，尤其涉及一种数据压缩方法、装置、计算设备及存储系统。

技术介绍

[0003]随着云计算和大数据产业的繁荣，数据中心规模越大，则数据中心存储的数据也越多，更大的数据量和更长的存储周期意味着更高的存储成本。目前，计算设备可以利用压缩算法(如：LZ4、LZO或Snappy等)对待存储数据进行压缩后再存储，从而降低待存储数据的数据量，节省相应的硬盘、节点、机架、场地和运维开销等。在计算设备中，当用户设置好压缩算法后，所有的数据都基于所设置的压缩算法进行数据压缩，导致数据的压缩率比较低。

技术实现思路

[0004]本申请提供了数据压缩方法、装置、计算设备及存储系统，由此来提高数据的压缩率。
[0005]第一方面，提供了一种数据压缩方法，该方法可以由计算设备执行，具体包括如下步骤：计算设备对待压缩数据进行压缩时，根据影响待压缩数据的压缩结果的参数确定待压缩数据的压缩特征值，根据压缩特征值确定压缩待压缩数据的压缩策略，根据压缩策略对待压缩数据进行压缩得到压缩后数据，并存储压缩后数据。
[0006]如此，相对于计算设备采用一种压缩算法对不同特征的数据进行压缩，本申请提供的数据压缩方法中计算设备使用的压缩策略是依据影响待压缩数据的压缩结果的特征选取得到，利用匹配待压缩数据的特征的压缩策略对待压缩数据进行压缩，能够有效地提高数据的压缩率。
[0007]在一种可能的实现方式中，参数包括对待压缩数据进行压缩时所用到的硬件资源的参数及/或描述待压缩数据的数据特征的参数。数据特征的参数包含数据类型、数据块大小和待压缩数据包含的字符的分布中至少一种。硬件资源的参数包含计算设备的处理器的占用率、将压缩后数据存储至存储设备时，计算设备与存储设备之间的网络带宽和存储设备的可用存储容量中的至少一种。
[0008]在另一种可能的实现方式中，计算设备存储有多个压缩特征值与压缩策略的对应关系。根据压缩特征值确定压缩待压缩数据的压缩策略，包括：计算设备确定待压缩数据的压缩特征值对应的对应关系中的压缩特征值；根据对应关系所确定的压缩特征值确定压缩特征值对应的压缩策略为压缩待压缩数据的压缩策略。从而，通过预先设置多个压缩特征值与压缩策略的对应关系，使计算设备实时对待压缩数据进行压缩时快速准确地选取匹配
待压缩数据的特征的压缩策略。
[0009]其中，多个压缩特征值与压缩策略的对应关系可以是依据神经网络训练得到的。
[0010]在另一种可能的实现方式中，压缩策略中包括多个压缩窗口；根据压缩策略对待压缩数据进行压缩包括：计算设备根据多个压缩窗口分别对待压缩数据进行压缩，以得到多个压缩后数据；比较多个压缩后数据的压缩率，选择压缩率最高的压缩后数据作为压缩后数据。可理解的，压缩窗口是指搜索待压缩数据中相同字符串的范围，通过多个不同的压缩窗口对待压缩数据中的相同字符串进行搜索，搜索到的相同字符串的长度可能不同，因此可能得到不同压缩率的压缩后数据。从而，利用多级弹性压缩窗口对待压缩数据进行压缩，获得压缩率尽可能高的压缩后数据。
[0011]在另一种可能的实现方式中，在得到压缩后数据后，方法还包括：计算设备确定压缩数据时所采用的压缩策略的压缩率；根据压缩率调节对应关系中的压缩特征值和压缩策略的参数。从而，通过更新对应关系中的压缩策略，提升对应关系的准确性，使得计算设备获取更佳匹配待压缩数据的特征的压缩策略，提高数据的压缩率。
[0012]第二方面，提供了一种数据压缩装置，所述装置包括用于执行第一方面或第一方面任一种可能设计中的数据压缩方法的各个模块。
[0013]第三方面，提供一种计算设备，该计算设备包括至少一个处理器和存储器，存储器用于存储一组计算机指令；当处理器作为第一方面或第一方面任一种可能实现方式中的执行设备执行所述一组计算机指令时，执行第一方面或第一方面任一种可能实现方式中的数据压缩方法的操作步骤。
[0014]第四方面，提供一种存储系统，该存储系统包括至少一个计算节点和至少一个存储节点，所述计算节点用于执行第一方面或第一方面任一种可能实现方式中的数据压缩方法的操作步骤，得到压缩后数据，所述存储节点用于存储所述压缩后数据；或者，所述计算节点将待压缩数据传输至所述存储节点，所述存储节点执行第一方面或第一方面任一种可能实现方式中的数据压缩方法的操作步骤，得到压缩后数据，存储所述压缩后数据。
[0015]第五方面，提供一种计算机可读存储介质，包括：计算机软件指令；当计算机软件指令在计算设备中运行时，使得计算设备执行如第一方面或第一方面任意一种可能的实现方式中所述方法的操作步骤。
[0016]第六方面，提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算设备执行如第一方面或第一方面任意一种可能的实现方式中所述方法的操作步骤。
[0017]本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
[0018]图1为本申请一个实施例的分布式存储系统的架构示意图；
[0019]图2为本申请一个实施例的盘控分离的结构示意图；
[0020]图3为本申请一个实施例的集中式存储系统的架构示意图；
[0021]图4为本申请一个实施例的数据压缩方法的流程示意图；
[0022]图5为本申请一个实施例的确定待压缩数据的压缩特征值的示意图；
[0023]图6为本申请一个实施例的字典压缩的过程示意图；
[0024]图7为本申请一个实施例的字典压缩的过程示意图；
[0025]图8为本申请一个实施例的数据包的结构示意图；
[0026]图9为本申请一个实施例的数据压缩装置的结构示意图；
[0027]图10为本申请一个实施例的计算设备的结构示意图。
具体实施方式
[0028]数据压缩(data compression)是指依据压缩算法对待压缩数据重新组织，以减少待压缩数据中的冗余数据，达到缩减待压缩数据的数据量，减少存储待压缩数据所需的存储空间，提高待压缩数据的压缩率、传输速度和压缩速度的方法。本申请对进行数据压缩的计算设备的具体形态不予限定。计算设备例如是手机终端、平板电脑、笔记本电脑、虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、混合现实(Mixed Reality，MR)设备、扩展现实(Extended Reality，ER)设备或车载终端等。计算设备还可以是边缘设备(例如，携带具有处理能力芯片的盒子)、服务器、分布式存储系统中计算能力的设备或者集中式存储系统中计算能力的设备。
[0029]图1为本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，应用于计算设备，其特征在于，所述方法包括：根据影响待压缩数据的压缩结果的参数确定所述待压缩数据的压缩特征值；根据所述压缩特征值确定压缩所述待压缩数据的压缩策略；根据所述压缩策略对所述待压缩数据进行压缩得到压缩后数据，并存储所述压缩后数据。2.根据权利要求1所述的方法，其特征在于，所述参数包括对所述待压缩数据进行压缩时所用到的硬件资源的参数及/或描述所述待压缩数据的数据特征的参数。3.根据权利要求2所述的方法，其特征在于，所述数据特征的参数包含数据类型、数据块大小和所述待压缩数据包含的字符的分布中至少一种。4.根据权利要求2所述的方法，其特征在于，所述硬件资源的参数包含所述计算设备的处理器的占用率、将所述压缩后数据存储至存储设备时，所述计算设备与所述存储设备之间的网络带宽和所述存储设备的可用存储容量中的至少一种。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述计算设备存储有多个压缩特征值与压缩策略的对应关系；所述根据所述压缩特征值确定压缩所述待压缩数据的压缩策略，包括：确定所述待压缩数据的压缩特征值对应的所述对应关系中的压缩特征值；根据所述对应关系所确定的压缩特征值确定所述压缩特征值对应的压缩策略为压缩所述待压缩数据的压缩策略。6.根据权利要求5所述的方法，其特征在于，所述多个压缩特征值与压缩策略的对应关系是依据神经网络训练得到的。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述压缩策略中包括多个压缩窗口；根据所述压缩策略对所述待压缩数据进行压缩包括：根据所述多个压缩窗口分别对所述待压缩数据进行压缩，以得到多个压缩后数据；比较所述多个压缩后数据的压缩率，选择压缩率最高的压缩后数据作为所述压缩后数据。8.根据权利要求1
‑
7中任一项所述的方法，其特征在于，在得到所述压缩后数据后，所述方法还包括：确定压缩数据时所采用的所述压缩策略的压缩率；根据所述压缩率调节对应关系中的所述压缩特征值和所述压缩策略的参数。9.一种数据压缩装置，应用于计算设备，其特征在于，所述装置包括：预处理模块，用于根据影响待压缩数据的压缩结果的参数确定所述待压缩数据的压缩特征值；策略匹配模块，用于根据所述压缩特征值确定压缩所述待压缩数据的压缩策略；压缩模块，用于根据所述压缩策略对所述待压缩数据进行压缩得到压缩后数据，并存储所述压缩后数据。10.根据权利要求9所述的装置，其特征在于，所述参数包括对所述待压缩数据进行压缩时所用到的硬件...

【专利技术属性】
技术研发人员：罗斯哲，董如良，朱洪德，孙勇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：