用于提供数据的长期存储的系统和方法技术方案

一种用于存储文件的系统，包括处理器和存储器。处理器配置为将文件分成一个或多个片段；在第一存储单元中存储该一个或多个片段；以及添加元数据到第一存储单元以便该文件能独立于第二存储单元地访问，其中单个命名空间实现对存储在第一存储单元和第二存储单元中的文件的访问。存储器耦合至处理器并配置为提供指令到处理器。

【技术实现步骤摘要】
相关申请的引用本申请是申请号为201080028493.X的专利技术专利申请的分案申请，该专利技术专利申请的国际申请日为2010年6月17日，专利技术名称为“用于提供数据的长期存储的系统和方法”。
技术介绍
组织机构产生和积累增长的大量的电子数据，其需要适当地保留并在需要时迅速地得到。考虑到涉及大量的数据以及多数这些数据延长的保留期间，存储系统的成本效益和能源效率是重要的。此外，存储系统也应能够复原系统的部分故障。此外，存储系统应允许容量上的逐渐增长，以方便系统的升级和将数据移动到新的存储器件。附图说明在以下的详细描述和附图中公开本专利技术的各种实施例。图1是图示数据的长期存储系统的实施例的框图。图2是图示片段存储引擎的实施例的框图。图3是图示数据的长期存储系统的实施例的框图。图4是图示存储数据的过程的实施例的流程图。图5是图示存储数据的过程的实施例的流程图。图6是图示存储片段的过程的流程图。图7是图示从存储系统读取文件的过程的实施例的流程图。图8是图示从存储系统删除文件的过程的实施例的流程图。具体实施方式本专利技术能以众多方式实施，包括作为过程；器件；系统；物质成分；包含在计算机可读取存储介质上的计算机程序产品；和/或处理器，诸如配置为运行存储在耦合于处理器的存储器中和/或由该存储器提供的指令的处理器。在本说明书中，这些实现，或本专利技术可采用的任何其它形式，均可指技术手段。一般而言，可在本专利技术的范围内改变所公开的过程的步骤顺序。除非另有说明，描述为配置成执行任务的部件，诸如处理器或存储器，可实现为在给定时间临时配置为执行任务的通用部件或制造为执行该任务的特定部件。正如这里使用的，术语“处理器”是指配置为处理数据、诸如计算机程序指令的一个或多个器件、电路、和/或处理核。本专利技术的一个或多个实施例的详细描述连同图示本专利技术的原理的附图一起被提供在下面。结合这些实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求限定，并且本专利技术包括了众多变形、修改和等效。在以下描述中说明众多具体细节以供彻底地理解本专利技术。这些细节为了举例而被提供，本专利技术可根据权利要求实现而不使用一些或全部的这些具体细节。为清楚起见，本专利技术涉及的
所公知的技术材料未详细描述，以便本专利技术被不必要地模糊。公开了提供数据的长期存储。将文件分为一个或多个片段。将该一个或多个片段存储在第一存储单元。将元数据添加到第一存储单元以便能独立于另一存储单元地访问该文件。单个命名空间实现对存储在第一存储单元和另一存储单元中的文件的访问。在一些实施例中，存储系统能够成本高效地和能量高效地用于存储文件。将文件存储为一个或多个片段，其中在存储系统（例如，跨越系统的一个存储单元的消重）消重片段（例如，仅存储一个副本且其用于/能用于重建多于一个文件）。片段存储在主存储单元中并周期性地（例如，每个星期）基于转移协议（例如，存储单元大于当非活动时等等的容量限度、每小时片段数量）来存储，或当存储单元已满或满足一个或多个条件（例如，为80%满、为不足20%活动、在最后一小时已无访问等），将属于基于移动策略识别的文件的片段（例如，在预定的时间段未修改或访问的特定文件类型的文件待被移动等）转移到第二存储单元。由于第二存储单元已装满，将元数据转移到第二存储单元以便第二存储单元具有全部的必要信息来访问在第二存储单元中的文件。元数据能使得系统重建存储在系统中的文件（例如，在整个系统中，在存储单元中等）和/或将存储在系统中的文件与它们的名称关联。这也允许系统为了节能而将存储单元断电或将存储单元离线来升级存储单元或者使得系统容错，以便在任何给定的存储单元故障时系统能够运作。当存储单元装满时，系统从主存储单元转移片段到另一存储单元。系统能通过增量地加入存储单元来扩展。利用单个命名空间访问文件，从而提供了易用的接口。由于仅有一个消重引擎用于多个存储单元，所以高效地使用硬件。在一些实施例中，系统不具有主存储单元并在第一存储单元中存储片段，然后当第一存储单元已满时，系统在第二存储单元中存储片段。在一些实施例中，文件由名称进行识别，该名称独立于存储文件的存储单元。当接收待存放的文件时，也接收与文件关联的名称。当接收读取文件的请求时，也接收名称。系统查找与系统中的文件关联的元数据来识别与接收的名称关联的文件。然后查找与已识别的文件关联的元数据来确定存储已识别的文件的存储单元。在各种的实施例中，与系统中的文件关联的元数据保持在主存储单元中、保持在存储与元数据关联的文件的每个存储单元中、以分布式和/或冗余方式保持在跨越多个存储单元中（例如，为了容错）、保持在分离的存储单元中或存储单元中、或任何其它合适的存储位置。在一些实施例中，当下一个可用的存储单元被识别（例如，被选择）为活动存储单元时，将与系统中的文件关联的元数据复制到活动存储单元。这允许仅当存储单元上电时，与系统中的文件关联的元数据是可用的。在一些实施例中，后续仅对存储在活动存储单元中的元数据的副本进行与文件关联的元数据的更新。在一些实施例中，如果活动存储单元已满，则所有的元数据更新与活动存储单元保持齐平以便每个存储单元包含至少足够的元数据来支持对其包含的文件的访问。当活动存储单元故障时，系统使用包含在其它附属存储单元（例如，先前活动存储单元）中的元数据来提供对仍在系统中的文件的访问。在一些实施例中，当存储单元不可用时（例如，存储单元故障、正在升级等），系统仍提供对任何不存储在故障存储单元中的文件的访问。在一些实施例中，系统包括电源管理单元。在预知存储单元空闲一段时间的情况下，系统将存储单元断电。系统仍能够访问任何其它未断电的存储单元上的文件。然后，当系统接收到指向存储单元的请求时，系统将存储单元上电。将存储单元断电可包括将存储单元的盘中的一些电子设备关闭电源、盘降速、将盘断电和/或将存储单元中的电子设备断电，或任何其它适当的电力节约步骤。断电动作可取决于预知存储单元空闲多久。在一些实施例中，预知存储单元空闲的时间长度基于存储单元已经空闲了多久。例如，如果存储单元在预定的时间段内未接收到任何请求，则存储单元中的盘降速。在存储单元在此外的预定时间段内未接收到任何请求的情况下，存储单元的盘被关闭电源。在一些实施例中，系统跟踪盘已进行电力循环的次数并使用电力循环信息来决定合适的断电动作。例如，当电力循环的次数超过预定的阈值时，系统可决定不再将盘断电。在一些实施例中，在文件已删除的情况下，更新与系统中的文件关联的元数据以反映该文件已删除。然后，通过将未从存储单元（例如，容器、驱动器、驱动器阵列等）删除的文件转移到新的存储单元并消重存储在新的存储单元中的片段来执行空间回收过程来压缩剩余的文件以装满整个存储单元。一旦文件已从旧的存储单元转移，可使存储单元用于存储新的文件。在一些实施例中，系统是消重存储系统（例如，加州，圣克拉拉DataDomain公司的存储系统）。每个存储单元都是消重域，意味着数据（例如，片段）的重复块（duplicatechunk）仅在每个存储单元中而并不跨越不同的存储单元被识别。每个存储单元包含能用于决定片段是否已经存在于存储单元中的片段索引。在一些实施例中，片段索引使用指纹来索引片段。在一些实施例中，描述的系统用作包括本文档来自技高网...

【技术保护点】
一种用于存储文件的系统，包括：接收第一文件的接口;以及处理器，配置为：将所述第一文件分成多个片段；确定之前已经存储在第一存储单元中的所述第一文件的任何片段，其中，单个命名空间实现对存储在所述第一存储单元和第二存储单元中的文件的访问；以及存储之前没有被存储在所述第一存储单元中的多个片段的任何片段；确定所述第一存储单元是否已满，其中在新的文件和相关联的元数据超过所述第一存储单元的存储容量的情况下，所述第一存储单元已满；在所述第一存储单元已满的情况下：添加元数据到所述第一存储单元以便使得所述第一文件能独立于所述第二存储单元地重建，其中所述元数据包括所述第一文件的名称以及所述第一文件的重建信息，其中所述第一文件的重建信息至少包括先前未被存储的任何片段的位置以及对先前已经存储的片段的引用，以及选择所述第二存储单元以用于存储所述新文件和所述相关联的元数据；以及在所述新文件和相关联的元数据不能装入所述第一存储单元中的情况下，移除一部分文件和与所述新文件相关联的元数据。

【技术特征摘要】
2009.06.25 US 12/4592011.一种用于存储文件的系统，包括：接收第一文件的接口;以及处理器，配置为：将所述第一文件分成多个片段；确定之前已经存储在第一存储单元中的所述第一文件的任何片段，其中，单个命名空间实现对存储在所述第一存储单元和第二存储单元中的文件的访问；以及存储之前没有被存储在所述第一存储单元中的多个片段的任何片段；确定所述第一存储单元是否已满，其中在新的文件和相关联的元数据超过所述第一存储单元的存储容量的情况下，所述第一存储单元已满；在所述第一存储单元已满的情况下：添加元数据到所述第一存储单元以便使得所述第一文件能独立于所述第二存储单元地重建，其中所述元数据包括所述第一文件的名称以及所述第一文件的重建信息，其中所述第一文件的重建信息至少包括先前未被存储的任何片段的位置以及对先前已经存储的片段的引用，以及选择所述第二存储单元以用于存储所述新文件和所述相关联的元数据；以及在所述新文件和相关联的元数据不能装入所述第一存储单元中的情况下，移除一部分文件和与所述新文件相关联的元数据。2.如权利要求1所述的系统，其中，所述第一存储单元包括元数据信息以提供对存储在所述第一存储单元和所述第二存储单元中的文件的访问。3.如权利要求1所述的系统，其中，所述第一存储单元包括消重域。4.如权利要求1所述的系统，其中，根据转移协议，所述处理器进一步配置为根据移动策略识别待转移的转移文件并转移构成所述转移文件的一组片段到第三存储单元。5.如权利要求4所述的系统，其中，所述转移协议包括在所述第一存储单元在预定的容量限度之上的情况下转移所述一组片段的规则。6.如权利要求4所述的系统，其中，所述转移协议包括根据时间表来转移所述一组片段的规则。7.如权利要求4所述的系统，其中，所述转移协议包括在未访问所述第一存储单元的情况下转移所述一组片段的规则。8.如权利要求4所述的系统，其中，转移包括在所述第三存储单元中存储与所述转移文件关联的元数据，使得所述转移文件从所述第三存储单元被访问。9.如权利要求4所述的系统，其...

【专利技术属性】
技术研发人员：许为善，RH帕特森，
申请(专利权)人：EMC公司，
类型：发明
国别省市：美国;US