固定大小去重系统中的数据备份系统和方法技术方案

在一些示例中，计算机实现的数据备份方法包括：将与对象相关的元数据存储在备份系统的辅助存储层中，所述元数据表示所述对象的数据结构，将表示所述对象的一组数据分成多个可变长度区块，确定所述备份系统的主存储层中是否存在与所述可变长度区块的至少一部分相同的现有数据区块，将所述可变长度区块存储在所述备份系统的所述主存储层中，以及基于所述确定，向所述备份系统的所述主存储层提供所述现有数据区块的位置指示。有数据区块的位置指示。有数据区块的位置指示。

【技术实现步骤摘要】
【国外来华专利技术】固定大小去重系统中的数据备份系统和方法


[0001]本专利技术的各个方面大体涉及数据备份，更具体地但不限于涉及用于优化固定大小去重系统中的差异压缩的数据备份系统和方法。

技术介绍

[0002]数据去重系统通常能够通过识别冗余数据模式来减少存储数据所需的空间。例如，数据去重系统可以通过将文件分成区块并且仅存储唯一区块来减少存储类似文件所需的空间。因此，去重文件可以由组成文件的区块列表组成。
[0003]一些系统将数据分成固定宽度的区块。但是，这种方法可能会导致大量相同的信息无法去重。例如，一个文件中的长数据序列可以从文件的固定宽度的区块边界开始，而相同的长数据序列可以从另一个文件的固定宽度的区块的中间开始，这导致两个文件之间没有可去重的相同固定宽度的区块。
[0004]为便于以文件内的任何偏移量对相同数据序列进行去重，一些传统的数据去重系统可能会将文件分成可变宽度的区块。这通常需要不必要的开销来保存与去重数据相关的元数据。
[0005]为解决其中一些问题，可以实现相似性(或差异)压缩算法，其中，相似性哈希函数被应用于数据块。可以将所生成的块的相似性哈希值与已存储父块的相似性哈希值进行比较，以确定所述块之间的相似度。因此，对于每个块，如果找到相似的块，则系统可以保持这两个块之间的压缩差，而不是再次存储整个块。
[0006]例如，可以压缩所述父块，并且对于每个新的类似块，可以存储压缩差。或者，可以一起压缩多个类似块，从而产生更高的压缩率。但是，在检索块时，这会导致更大的解压需求。此外，实现差异压缩所需的元数据量不允许系统将与进程相关的数据结构保存在存储器中，因此系统需要首先存储数据，并且只能处理数据且随后执行差异解压。

技术实现思路

[0007]根据第一方面，本专利技术提供了一种计算机实现的数据备份方法，所述方法包括：将与对象相关的元数据存储在备份系统的辅助存储层中，所述元数据表示所述对象的数据结构，将表示所述对象的一组数据分成多个可变长度区块，确定所述备份系统的主存储层中是否存在与所述可变长度区块的至少一部分相同的现有数据区块，将所述可变长度区块存储在所述备份系统的所述主存储层中，以及基于所述确定，向所述备份系统的所述主存储层提供所述现有数据区块的位置指示。
[0008]将表示所述对象的结构的元数据保存在辅助存储系统中，并将所述对象数据本身分成可变长度区块，以存储在主存储系统中。对所述主存储系统进行检查，以确定所述可变长度区块存在(或不存在)；如果找到此类数据，则将所述数据照常写入所述主存储系统，但同时提供所述现有数据的位置指示。通过这种方式，所述主存储系统可以对所述可变长度区块(或所述现有数据区块)执行差异压缩或去重。提供与所述辅助存储层中的所述对象相
关的所述元数据可以直接从所述主存储器恢复、访问或装载所述对象，而不需要借助备份应用，这是因为所述可变长度区块以原始格式写入所述主存储系统，而不是以仅备份应用可理解的专有去重格式。
[0009]在第一方面的一实施方式中，所述可变长度区块可以一个或多个固定大小的对齐块的形式存储在所述备份系统的所述主存储层中，并且所述现有数据区块可以包括一个或多个固定大小的对齐块。所述可变长度区块可以以固定大小的对齐块之间的差异的形式存储在所述备份系统的所述主存储层中。
[0010]也就是说，所述可变长度的数据区块可以分成多个固定大小的块，以在所述备份系统的所述主存储层上进行高效存储。因此，可以执行高效的内联去重和差异压缩，从而提高压缩率并减少计算。
[0011]在第一方面的一实施方式中，可以基于所述确定，在所述备份系统的所述主存储层压缩所述可变长度区块。压缩所述可变长度区块可以包括对所述可变长度区块与所述现有数据区块之间的差异进行差异压缩。可以生成所述现有数据区块的引用，以供备份系统的所述辅助存储层使用，从而实现所述可变长度区块的去重。
[0012]如果所述主存储层已提供可变长度的数据区块，并且根据所述现有数据在偏移量等方面映射到所述可变长度区块的程度，所述主存储层能够执行差异压缩或去重。可以在所述可变长度区块的位置提供所述现有区块的引用，从而能够从所述主存储层直接访问所述对象。
[0013]根据第二方面，本专利技术提供了一种非瞬时性机器可读存储介质，包括机器可读指令，由处理器执行所述机器可读指令时，所述机器可读指令使得机器执行备份任务以执行以下操作：将与对象相关的元数据存储在备份系统的辅助存储层中，所述元数据表示所述对象的数据结构，将表示所述对象的一组数据分成多个可变长度区块，确定所述备份系统的主存储层中是否存在与可变长度区块的至少一部分相同的现有数据区块，将所述可变长度区块存储在所述备份系统的所述主存储层中，以及基于所述确定，向所述备份系统的所述主存储层提供所述现有数据区块的位置指示。
[0014]在第二方面的一实施方式中，所述非瞬时性机器可读存储介质还可以包括用于执行以下操作的指令：在将所述可变长度区块写入所述备份系统的所述主存储层时对所述可变长度区块进行分析，以查找重复项。可以提供其它指令，以将所述可变长度区块分成一个或多个具有预定长度的固定大小的对齐数据块。可以提供其它指令，以对所述可变长度区块与所述现有数据区块之间的差异进行差异压缩，并且以固定大小的对齐块的形式将所述差异压缩结果存储在所述备份系统的所述主存储层中。可以提供其它指令，以生成用于所述备份系统的所述主存储层的写命令，包括与所述现有数据区块相关的逻辑单元和偏移量。
[0015]根据第三方面，本专利技术提供了一种用于可变长度去重的系统，所述系统包括：辅助存储层，用于存储表示要备份的对象的数据结构的元数据；以及主存储层，用于存储多个固定长度的对齐数据块，所述对齐数据块表示从所述要备份的对象生成的可变长度区块。如果所述主存储层中存在与所述可变长度区块的至少一部分相同的现有数据区块，则所述主存储层可以接收所述现有数据区块的位置指示，并对所述可变长度区块或所述可变长度区块的一部分执行去重。所述主存储层可以对表示要备份的所述对象的数据流的数据执行内
联差异压缩。可以从所述主存储层恢复、执行、装载或公开所述对象。
附图说明
[0016]为了更完整地理解本专利技术，现在通过举例参考以下结合附图的描述，其中：
[0017]图1为一示例提供的用于实现数据备份方法的系统的示意图；
[0018]图2为一示例提供的数据备份方法的示意图；
[0019]图3为一示例提供的数据备份方法的流程图；
[0020]图4为一示例提供的组成数据备份系统的机器的示意图。
具体实施方式
[0021]下文将充分详细地描述示例性实施例，以使本领域普通技术人员能够体现和实现本文描述的系统和流程。重要的是要理解实施例可以许多替代形式提供，并且不应被解释为仅限于本文列出的示例。因此，虽然可以通过各种方式修改实施例并采取各种替代形式，但附图中示出了具体实施例并且下文将其作为示例进行详细描述。我们无意限制所披露的特定形式。相反，属于所附权利本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的数据备份方法，所述方法包括：将与对象相关的元数据存储在备份系统的辅助存储层中，所述元数据表示所述对象的数据结构；将表示所述对象的一组数据分成多个可变长度区块；确定所述备份系统的主存储层中是否存在与所述可变长度区块的至少一部分相同的现有数据区块；将所述可变长度区块存储在所述备份系统的所述主存储层中；以及基于所述确定，向所述备份系统的所述主存储层提供所述现有数据区块的位置指示。2.根据权利要求1所述的备份方法，其特征在于，所述可变长度区块以一个或多个固定大小的对齐块的形式存储在所述备份系统的所述主存储层中，并且所述现有数据区块包括一个或多个固定大小的对齐块。3.根据权利要求1所述的备份方法，其特征在于，所述可变长度区块以固定大小的对齐块之间的差异的形式存储在所述备份系统的所述主存储层中。4.根据上述权利要求中任一项所述的备份方法，还包括：基于所述确定，在所述备份系统的所述主存储层压缩所述可变长度区块。5.根据权利要求1至3所述的备份方法，其特征在于，压缩所述可变长度区块包括对所述可变长度区块与所述现有数据区块之间的差异进行差异压缩。6.根据上述权利要求中任一项所述的备份方法，还包括：生成所述现有数据区块的引用，以供备份系统的所述辅助存储层使用，从而实现所述可变长度区块的去重。7.一种非瞬时性机器可读存储介质，包括机器可读指令，由处理器执行所述机器可读指令时，所述机器可读指令使得机器执行备份任务以执行以下操作：将与对象相关的元数据存储在备份系统的辅助存储层中，所述元数据表示所述对象的数据结构；将表示所述对象的一组数据分成多个可变长度区块；确定所述备份系统的主存储层中是否存在与可变长度区块的至少一部分相同的现有数据区块；将所述可变长度区块存储在所述备份系统的所述主存储层...

【专利技术属性】
技术研发人员：阿萨夫，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：