数据压缩装置及方法制造方法及图纸

本发明专利技术公开了一种数据压缩方法，属于数据处理领域。所述方法包括：获取待压缩数据与m个参考数据块，m大于1，且m为整数；将该待压缩数据与该m个参考数据块进行匹配，获得至少一个索引编码，每个索引编码包括参考数据块标识和字符串信息，每个参考数据块标识指示m个参考数据块中的一个参考数据块，每个字符串信息指示待压缩数据中的连续字符串在参考数据块中的位置信息；实现了通过多个参考数据块对待压缩数据进行压缩来提升压缩效率。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，特别涉及一种数据压缩装置及方法。
技术介绍
在数据处理领域中，数据压缩是一种通过特定步骤来减少重复数据，达到缩减存储空间的方法。差分(英文：Delta)压缩是目前较为常用的一种无损数据压缩方法。其主要包括如下步骤：通过特定的相似度检测算法从若干个参考数据块中检测出一个与待压缩数据相似度最高的参考数据块，并对待压缩数据与该参考数据块进行差异计算，以获得压缩结果。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：现有的差分压缩算法对参考数据块与待压缩数据之间的相似度要求较高，当不存在与待压缩数据之间的相似度较高的压缩数据块时，压缩效果较差。
技术实现思路
为了解决现有技术中当不存在与待压缩数据之间的相似度较高的压缩数据块时，压缩效果较差的问题，本专利技术实施例提供了一种数据压缩装置及方法。所述技术方案如下：第一方面，提供了一种数据压缩方法，该方法包括：获取待压缩数据与m个参考数据块，m大于1，且m为整数；将该待压缩数据与该m个参考数据块进行匹配，获得至少一个索引编码，每个索引编码包括参考数据块标识和字符串信息，每个参考数据块标识指示m个参考数据块中的一个参考数据块，每个字符串信息指示待压缩数据中的连续字符串在参考数据块中的位置信息。本专利技术实施例提供的数据压缩方法，通过多个参考数据块对待压缩数据进行压缩，当不存在与待压缩数据之间的相似度较高的压缩数据块时，也能够保证较高的压缩效率。此外，本专利技术实施例所示的数据压缩方法对参考数据块与待压缩数据之间的相似度要求较低，相似度匹配的算法简单，且很容易匹配出符合要求的参考数据块，能够在保证压缩效果的前提下提高压缩效率。在第一方面的第一种可能的实施方式中，获取m个参考数据块时，逐一计算预先设置的各个参考数据块各自与待压缩数据之间的相似度，获取该各个参考数据块中，与该待压缩数据之间的相似度大于预设阈值的m个参考数据块。结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，该获取该各个参考数据块中，与该待压缩数据之间的相似度最大的m个参考数据块，包括：每计算出一个与该待压缩数据之间的相似度大于该预设阈值的参考数据块时，将匹配数量加1，该匹配数量的初值为0；判断该匹配数量是否达到预设的数量上限M，M≥2，且M为整数；若判断结果为该匹配数量达到预设的数量上限M，则将已计算出的与该待压缩数据之间的相似度大于该预设阈值的参考数据块获取为与该待压缩数据相匹配的m个参考数据块；若判断结果为该匹配数量未达到预设的数量上限M，则判断该各个参考数据块各自与该待压缩数据之间的相似度是否全部计算完毕；若判断结果为该各个参考数据块各自与该待压缩数据之间的相似度全部计算完毕，则将已计算出的与该待压缩数据之间的相似度大于该预设阈值的参考数据块获取为与该待压缩数据相匹配的m个参考数据块。本专利技术实施例提供的数据压缩方法，只需要从若干个参考数据块中获取出多个相似度要求较低的参考数据块即可，由于对参考数据块与待压缩数据之间的相似度要求较低，因此，逐一计算各个参考数据块与该待压缩数据之间的相似度，当计算出与待压缩数据相匹配的参考数据块的数量足够时，可以停止后续计算过程，从而缩短匹配过程，提高压缩效率。在第一方面的第三种可能的实施方式中，该方法还包括：当该待压缩数据中存在未对应该至少一个索引编码的连续字符串时，生成包含未对应该至少一个索引编码的连续字符串的插入编码，该插入编码用于指示在解压缩时插入未对应该至少一个索引编码的连续字符串。在第一方面的第四种可能的实施方式中，根据该待压缩数据与该m个参考数据块进行匹配，包括：将该m个参考数据块首尾相连，获得一个总参考数据块；将该待压缩数据与该总参考数据块进行匹配。第二方面，本专利技术实施例提供了一种计算设备，该计算设备包括：处理器、存储器和总线；存储器通过总线连接处理器；处理器被配置为执行存储器中存储的指令；处理器通过执行指令来实现上述第一方面或第一方面中任意一种可能的实现方式所提供的数据压缩方法。第三方面，本专利技术实施例提供了一种数据压缩装置，该数据压缩装置包括至少一个单元，该至少一个单元用于实现上述第一方面或第一方面中任意一种可能的实现方式所提供的数据压缩方法。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术示例性实施例所示出的计算设备的结构框图；图2A是本专利技术一示例性实施例示出的数据压缩方法的方法流程图；图2B是图2A所示实施例涉及的一种获取参考数据块的方法流程图；图2C是图2A所示实施例涉及的一种基于多参考数据块的差分压缩方法的流程图；图3是本专利技术一个示例性实施例提供的数据压缩装置的框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。图1是本专利技术一示例性实施例所示出的计算设备的结构框图。该计算设备100可以包括：处理器110、存储器130以及总线150。存储器130通过总线150与处理器110相连接。处理器110包括运算逻辑部件、寄存器部件以及控制部件等，其可以是独立的中央处理器，或者也可以是嵌入式处理器，比如微处理器(英文：MicroProcessorUnit，缩写：MPU)、微控制器(英文：MicrocontrollerUnit，缩写：MCU)或者数字信号处理器(英文：EmbeddedDigitalSignalProcessor，缩写：EDSP)等。存储器130由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(英文：StaticRandomAccessMemory，简称：SRAM)，电可擦除可编程只读存储器(英文：ElectricallyErasableProgrammableRead-OnlyMemory，简称：EEPROM)，可擦除可编程只读存储器(英文：ErasableProgrammableReadOnlyMemory，简称：EPROM)，可编程只读存储器(英文：ProgrammableRead-OnlyMemory，简称：PROM)，只读存储器(英文：ReadOnlyMemory，简称：ROM)，磁存储本文档来自技高网...

【技术保护点】
一种数据压缩方法，其特征在于，所述方法包括：获取待压缩数据与m个参考数据块，m大于1，且m为整数；将所述待压缩数据与所述m个参考数据块进行匹配，获得至少一个索引编码，每个所述索引编码包括参考数据块标识和字符串信息，每个所述参考数据块标识指示所述m个参考数据块中的一个参考数据块，每个所述字符串信息指示所述待压缩数据中的连续字符串在参考数据块中的位置信息。

【技术特征摘要】
1.一种数据压缩方法，其特征在于，所述方法包括：
获取待压缩数据与m个参考数据块，m大于1，且m为整数；
将所述待压缩数据与所述m个参考数据块进行匹配，获得至少一个索引编
码，每个所述索引编码包括参考数据块标识和字符串信息，每个所述参考数据
块标识指示所述m个参考数据块中的一个参考数据块，每个所述字符串信息指
示所述待压缩数据中的连续字符串在参考数据块中的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述获取m个参考数据块，
包括：
计算预先设置的各个参考数据块与所述待压缩数据之间的相似度；
获取所述各个参考数据块中，与所述待压缩数据之间的相似度大于预设阈
值的m个参考数据块。
3.根据权利要求2所述的方法，其特征在于，所述获取所述各个参考数据
块中，与所述待压缩数据之间的相似度最大的m个参考数据块，包括：
每计算出一个与所述待压缩数据之间的相似度大于所述预设阈值的参考数
据块时，将匹配数量加1，所述匹配数量的初值为0；
判断所述匹配数量是否达到预设的数量上限M，M≥2，且M为整数；
若判断结果为所述匹配数量达到预设的数量上限M，则将已计算出的与所
述待压缩数据之间的相似度大于所述预设阈值的参考数据块获取为与所述待压
缩数据相匹配的m个参考数据块；
若判断结果为所述匹配数量未达到预设的数量上限M，则判断所述各个参
考数据块与所述待压缩数据之间的相似度是否全部计算完毕；
若判断结果为所述各个参考数据块与所述待压缩数据之间的相似度全部计
算完毕，则将已计算出的与所述待压缩数据之间的相似度大于所述预设阈值的
参考数据块获取为与所述待压缩数据相匹配的m个参考数据块。
4.一种计算设备，其特征在于，所述计算设备包括：处理器、存储器和总

\t线；所述存储器通过所述总线连接所...

【专利技术属性】
技术研发人员：关坤，全绍晖，沈建强，王工艺，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44