合成备份的资源分配制造技术

本公开提供了一种合成备份的资源分配。示例实施方式涉及存储系统中的元数据操作。一种示例存储系统包括存储有指令的机器可读存储装置，指令可由处理器执行以确定基于多个数据流的数据流表示来生成合成完全备份。指令还可执行以响应于确定生成合成完全备份，创建包括数据流表示的逻辑组。指令还可执行以为逻辑组指定缓存资源分配，并使用受到逻辑组的缓存资源分配限制的缓存资源量，从数据流表示生成合成完全备份。成完全备份。成完全备份。

【技术实现步骤摘要】
合成备份的资源分配

技术介绍

[0001]可以应用数据归约技术来减少存储在存储系统中的数据量。示例数据归约技术包括重复数据删除。重复数据删除识别重复的数据单元，并且力图缩减或消除存储在存储系统中的重复数据单元的实例的数量。
附图说明
[0002]关于以下附图描述了一些实施方式。
[0003]图1是根据一些实施方式的示例存储系统的示意图。
[0004]图2是根据一些实施方式的示例数据结构的图示。
[0005]图3是根据一些实施方式的示例数据结构的图示。
[0006]图4是根据一些实施方式的示例过程的图示。
[0007]图5A至图5B是根据一些实施方式的示例数据结构的图示。
[0008]图6A至图6B是根据一些实施方式的示例数据结构的图示。
[0009]图7是根据一些实施方式的示例过程的图示。
[0010]图8A至图8C是根据一些实施方式的示例数据结构的图示。
[0011]图9是根据一些实施方式的示例计算设备的示意图。
[0012]图10是根据一些实施方式的存储有指令的示例机器可读介质的图。
[0013]图11是根据一些实施方式的示例过程的图示。
[0014]在所有附图中，相同的附图标记指代相似但不一定相同的元件。附图不一定是成比例的，并且一些部分的尺寸可以被放大以更清楚地图示所示的示例。此外，附图提供了与描述一致的示例和/或实施方式；然而，描述不限于附图中提供的示例和/或实施方式。
具体实施方式
[0015]在本公开中，除非上下文另外明确指示，否则使用术语“一个(a)”、“一种(an)”或“所述(the)”旨在同样包括复数形式。同样地，当在本公开中使用时，术语“包括(includes/including/comprises/comprising)”或“具有(have/having)”指明存在所述元件，但不排除存在或添加其他元件。
[0016]在一些示例中，存储系统可以对数据进行重复数据删除以减少存储数据所需的空间量。存储系统可以执行重复数据删除(deduplication)过程，包括将数据流分解为离散的数据单元或“组块(chunk)”。进一步地，存储系统可以确定传入的数据单元的标识符或“指纹”，并且可以确定哪些传入的数据单元是先前存储的数据单元的复制品。在数据单元是复制品的情况下，存储系统可以存储对先前数据单元的引用，而不是存储重复的传入的数据单元。
[0017]如本文所使用的，“指纹”是指通过对数据单元的内容应用函数而得到的值(其中“内容”可以包括数据单元的内容的全部或子集)。可以应用的函数的示例包括基于传入的数据单元产生散列值的散列函数。散列函数的示例包括密码散列函数，如安全散列算法2
(SHA
‑
2)散列函数(例如，SHA
‑
224、SHA
‑
256、SHA
‑
384等)。在其他示例中，可以采用其他类型的散列函数或其他类型的指纹函数。
[0018]“存储系统”可以包括存储设备或存储设备阵列。存储系统还可以包括管理对(多个)存储设备的访问的(多个)存储控制器。“数据单元”可以指可以在存储系统中单独识别的任何数据部分。在一些情况下，数据单元可以指组块、组块的集合、或任何其他数据部分。在一些示例中，存储系统可以将数据单元存储在持久性存储装置中。可以使用一种或多种(多个)持久性(例如，非易失性)存储设备(如(多个)基于磁盘的存储设备(例如，(多个)硬盘驱动器(HDD))、(多个)固态设备(SSD)(如(多个)闪速存储设备)等或者其组合)来实施持久性存储装置。
[0019]“控制器”可以指硬件处理电路，其可以包括微处理器、多核微处理器的核、微控制器、可编程集成电路、可编程门阵列、数字信号处理器或其他硬件处理电路中的任一项或某种组合。可替代地，“控制器”可以指硬件处理电路与可在硬件处理电路上执行的机器可读指令(软件和/或固件)的组合。
[0020]在一些示例中，重复数据删除存储系统可以使用元数据以用于处理一个或多个入站数据流(例如，多个并发的入站数据流)。例如，这样的元数据可以包括指定特定数据单元的接收顺序(例如，在数据流中)的数据配方(本文也称为“清单”)。随后，响应于读取请求，重复数据删除系统可以使用一组清单来确定数据单元的接收顺序，从而可以重新创建原始数据流。相应地，该组清单可以是原始数据流的表示。清单可以包括一系列记录，每个记录代表一组特定的数据单元。
[0021]在一些示例中，重复数据删除存储系统可以处理入站数据流，以存储特定数据集合(例如，文件、目录等)中的所有数据块的去重副本，这在本文中可以称为数据集合的“完全备份”。随后，重复数据删除存储系统可以处理另一个数据流，以仅存储数据集合的自上次备份以来已经更改的那些数据块的去重副本，这在本文中可以称为数据集合的“增量备份”。进一步地，重复数据删除存储系统可以继续处理附加数据流以在不同时间点生成增量备份。
[0022]在一些示例中，重复数据删除存储系统可以基于完全备份、以及增量备份的序列，重新创建数据集合，如在特定时间点存在的那样。具体地，重复数据删除存储系统可以从完全备份重新创建数据，并且也可以从之后的每个增量备份重新创建数据，直到到达与特定时间点相对应的增量备份。以这种方式，可以按顺序累积对数据集合所做的更改，直到达到如在特定时间点存在的数据集合的状态。从完全备份和一组增量备份重新创建的数据集合的完全副本在本文中可以称为“合成完全备份”。进一步地，用于生成合成完全备份的完全备份和增量备份在本文中可以被称为合成完全备份的“部件备份”。下面参考图3描述合成完全备份的示例生成。
[0023]在一些示例中，当生成合成完全备份时(例如响应于读取请求)，重复数据删除存储系统可能必须从与部件备份(例如，完全备份和增量备份)相对应的多个数据流中访问和读取元数据。进一步地，重复数据删除存储系统可以分配等量的系统资源来处理每个数据流。例如，重复数据删除存储系统可以分配缓存存储器的相等部分来存储来自每个数据流的元数据。然而，这样的分配受到重复数据删除存储系统中包括的缓存存储器的总量的限制。
[0024]在一些示例中，每个增量备份可以包括对数据集合的各个部分的多个更改，并且可以覆写包括在先前部件备份中的数据部分。因此，生成合成完全备份可能涉及在任何数量的部件备份之间反复地来回跳转以读取各个数据部分。然而，由于缓存存储器的可用量是有限的，因此元数据可能不得不从缓存存储器被重复加载(例如，读取)和卸载(例如，以便为其他元数据让出空间)。数据的这种“搅动”可能导致缓存存储器不太可能存储在给定点所需的数据。因此，在生成合成完全备份时，通常由缓存存储器提供的性能改善(即，以提供对所需数据的快速访问)可能会被减少或消除。进一步地，缓存存储器中数据的重复加载和卸载可能会消耗大量带宽和时间(例如，以访问存储器、传输数据、逐出数据等)，而不提供任何显著的益处。另外，当重复数据删除存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储系统，包括：处理器；以及存储指令的机器可读存储装置，所述指令能够由所述处理器执行以进行以下操作：确定基于多个数据流的数据流表示来生成合成完全备份；响应于对生成所述合成完全备份的确定，创建包括所述数据流表示的逻辑组；为所述逻辑组指定缓存资源分配；以及使用受到所述逻辑组的所述缓存资源分配限制的缓存资源量，从数据流表示生成所述合成完全备份。2.如权利要求1所述的存储系统，包括能够由所述处理器执行以进行以下操作的指令：为所述逻辑组指定资源策略；以及在生成所述合成完全备份期间，根据所述资源策略来管理所述逻辑组内的所述资源分配的使用。3.如权利要求2所述的存储系统，其中，所述资源策略选自固定分配策略、有界缩放策略、非线性缩放策略和客户端引导策略之一。4.如权利要求1所述的存储系统，其中，所述多个数据流与完全备份和多个增量备份相对应。5.如权利要求1所述的存储系统，进一步包括：缓存；以及缓存控制器，用于：响应于检测到所述缓存中的故障，识别与在第一时间段内从所述缓存读取的最大数据量相关联的数据流表示；确定与识别出的数据流表示相关联的最近使用的缓存条目；以及将所确定的最近使用的缓存条目提升到所述缓存中的在逐出顺序中最后的位置。6.如权利要求5所述的存储系统，所述缓存控制器用于：跟踪在所述第一时间段期间在所述缓存中发生的未命中的总数量；以及响应于确定所述未命中的总数量超过阈值水平，检测所述缓存中的故障。7.如权利要求1所述的存储系统，包括能够由所述处理器执行以进行以下操作的指令：响应于确定生成所述合成完全备份不再需要特定数据流表示，从所述逻辑组中移除所述特定数据流表示。8.如权利要求1所述的存储系统，包括能够由所述处理器执行以进行以下操作的指令：响应于确定生成所述合成完全备份不再需要所述数据流表示中的全部数据流表示，删除所述逻辑组。9.一种方法，包括：由存储设备的缓存控制器检测包括多个缓存条目的缓存中的故障，所述多个缓存条目存储来自多个数据流表示的数据；响应于检测到所述故障，所述缓存控制器确定具有在特定时间段中从所述缓存读取的最大数据量的数据流表示；由所述缓存控制器确定与所确定的数据流表示相关联的最近使用的缓存条目；以及由所述缓存控制器将所确定的与所确定的数据流表示相关联的最近使用的缓存条目
提升到所述缓存中的在逐出顺序中最后的位置。10.如权利要求9所述的方法，其中，检测所述缓存中的所述故障包括：对在所述第一时间段期间在所述缓存中发生的未...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：