本发明专利技术涉及对去重复数据和保留锁定数据的清理和碎片整理。一种示例方法，包括：将云对象识别为进行碎片整理的潜在候选对象；评估所述云对象以确定所述云对象的段的哪一部分过期；当所述部分的过期段满足或超过阈值时，将所述云对象的所述过期段和未过期段分离；创建仅包括未过期段的第一新云对象；创建仅包括过期段的第二新云对象；以及从存储装置中删除所述云对象。述云对象。述云对象。
【技术实现步骤摘要】
用于去重复云对象中的过期保留锁定(合规性和管控)段的高效清理/碎片整理机制
[0001]本专利技术的实施方式总体上涉及对去重复数据和保留锁定数据的清理和碎片整理。更具体地，本专利技术的至少一些实施方式涉及用于在包括云存储的存储环境中对过期保留锁定段进行清理和碎片整理的系统、硬件、软件、计算机可读介质和方法。
技术介绍
[0002]许多企业使用去重复应用程序来进行备份和归档。这些去重复应用程序允许在本地对备份文件进行保留锁定，以实现保护和/或合规性。此外，它们允许将备份文件移动到云存储或云空间环境以进行长期保留。去重复应用程序还可以为云存储中的这些移动的去重复对象提供保留锁定保护，其中对象使用云提供商保留锁定API锁定特定持续时间。应当注意，这些去重复云对象包含由一个或多个备份文件共享的一组数据段。随着时间的推移，随着大量的锁定、恢复和删除操作，云空间将被包含RL(保留锁定)过期段和RL活动段的混合的去重复对象碎片化。垃圾收集器或清理过程无法删除或清理此类对象，因为这些对象仍包含由一个或多个锁定文件共享的一个或多个RL活动段，并且因此仍锁定在云中且无法删除。
附图说明
[0003]为了描述可以获得本专利技术的优点和特征中的至少一些所用的方式，将通过参考本专利技术在附图中示出的具体实施方式来呈现本专利技术的实施方式的更特定描述。应理解，这些附图仅示出了本专利技术的典型实施方式并且因此不应被视为是限制其范围，通过使用这些附图将更具体和详细地描述并解释本专利技术的实施方式。
[0004]图1公开了示例操作环境的各方面。
[0005]图2公开了一些示例云对象及其具有保留持续时间的段的各方面。
[0006]图3公开了涉及RLG锁定的示例方法。
[0007]图3A公开了在碎片整理过程及其RLG锁定持续时间之后跨新创建对象的示例段分布。
[0008]图4A公开了涉及RLC锁定的示例方法。
[0009]图4B公开了示例垃圾收集方法。
[0010]图4C公开了在碎片整理过程及其RLC锁定持续时间之后跨新创建对象的示例段分布。
[0011]图5公开了对象和段元数据(上传的)中的示例保留锁定信息。
[0012]图6公开了示例计算实体的各方面。
具体实施方式
[0013]本专利技术的实施方式总体上涉及删除重复数据或“去重复”数据的清理和碎片整理。
更具体地，本专利技术的至少一些实施方式涉及用于在例如诸如云存储的存储环境中对过期保留锁定段进行清理和碎片整理的系统、硬件、软件、计算机可读介质和方法。
[0014]在一个示例实施方式中，基于文件的保留时间以及因此基于文件的段来执行对去重复对象的碎片整理，使得整个对象过期而不是引起对象中的活动段与过期段的碎片化。这样的实施方式可以结合RLG(保留锁定、管控)对象和RLC(保留锁定、合规性)对象中的一者或两者来实现。
[0015]更详细地，示例实施方式可以选择性地处理云中的碎片化去重复对象，即包含RL过期段和RL活动段两者的混合的对象。这些对象可以通过基于特定于保留锁定(RL)的各种标准将它们的组成段分成不同的对象来进行碎片整理。这样的标准可以包括例如对象的锁定状态、段对应的所有文件的最小/最大保留期以及在对象上实现的锁定的类型。对于后一标准，在示例实施方式中可以采用至少两种不同的锁定，即RLC和RLG。值得注意的是，RLC锁定一旦设置就无法恢复或撤销。
[0016]在对对象进行碎片整理之后，可以创建新的经碎片整理和分区的对象，并且可以基于该对象所采用的锁定类型来确定新对象的持续时间或保留时间。来自经碎片整理的对象的任何过期段可以组合以形成过期的、未锁定的对象，随后可以通过GC删除该对象，从而释放之前被过期段占用的存储空间。
[0017]本专利技术的实施方式，诸如本文公开的示例，在多个方面可能是有益的。例如，并且如从本公开中将显而易见的，本专利技术的一个或多个实施方式可以以任何组合提供一种或多种有利的且意想不到的效果，下面阐述其一些示例。应当注意，这样的效果既不旨在也不应被解释为以任何方式限制要求保护的本专利技术的范围。还应注意，本文中的任何内容均不应被解释为构成任何专利技术或实施方式的必要或不可缺少的要素。而是，所公开的实施方式的各个方面可以以多种方式组合以便定义更进一步的实施方式。这种进一步的实施方式被认为在本公开的范围内。同样，包含在本公开范围内的实施方式均不应被解释为解决或限于解决任何特定问题。也不应将任何此类实施方式解释为实现或限于实现任何特定技术效果或解决方案。最后，不需要任何实施方式实现本文公开的任何有利和意外的效果。
[0018]特别地，本专利技术的至少一些实施方式的一个有利方面是可以对包括过期段和活动段的混合的对象执行清理/碎片化。在实施方式中，可以采用一种方法，所述方法基于引用对象中的去重复段的文件的保留时间，对去重复对象执行碎片整理，使得整个对象将同时过期。在实施方式中，根据RLC锁定和RLG锁定中的一者或两者来处理对象。
[0019]A.综述
[0020]将保留锁定能力从本地扩展到云的删除重复数据系统或“去重复”系统可以以两种方式保护数据，即，当数据在企业本地时和当数据在本地之外时，诸如在云存储环境中时。以这种方式，数据可以在文件系统(FS)端和云端都受到保护。此类系统可以为在具有RLG(管控)和RLC(合规性)级别的文件之间进行去重复的数据提供保留能力。特别地，这样的系统可以通过使用云提供商API(应用程序接口)有效地锁定云对象并使用段的不同级别的保留时间来智能地管理对象内的去重复段来提供保留能力。
[0021]应注意，高效的去重复系统可能不会将段直接存储在本地或云中，而是可以将一组一个或多个段打包在容器对象内。可能有各种原理支持这种方法。例如，一些去重复系统中采用的段大小(例如，诸如约2K
‑
12K)可直接影响系统的整体去重复率。作为另一个示例，
相对较小的段大小可能会增加TCO(存储的总拥有成本)，这是因为在管理大量此类小对象时需要更多事务，而处理打包容器对象(其可能包括多个段)将需要的事务则相对较少。作为使用打包容器对象的基本原理的最后一个示例，段级处理和事务的使用可能会导致生成和处理相对更多的需要在云中管理的元数据，这可能会导致云后端中的问题，例如，诸如对象查找较慢，而包含多个段的单个容器对象可能在元数据生成和处理方面的需求较少。
[0022]最后，由于删除了包括云段的文件或对象，在锁定过期或锁定恢复之后，或者在文件被召回到本地之后，那些云段可能会过期。但是，典型的垃圾收集器和垃圾收集过程无法删除包含活动或有效段和非活动或过期段的混合的云对象，因为对象由于有效段的存在而仍处于锁定状态。因此，具有这种段混合的对象的数量可能会随着时间的推移而增加，而由于锁定对象内的过期段不必要地占用了空间，也因此增加了数据所有者的云的存储成本。
[0023]与包含过期段和未过期段两者的对象相关联的这个问题可能在有和没有RL锁定的情况下发生。这种情况的典型方法本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种方法，包括：将云对象识别为进行碎片整理的潜在候选对象；评估所述云对象以确定所述云对象的段的哪一部分过期；当所述部分的过期段满足或超过阈值时，将所述云对象的所述过期段和未过期段分离；创建仅包括未过期段的第一新云对象；创建仅包括过期段的第二新云对象；以及从存储装置中删除所述云对象。2.如权利要求1所述的方法，其中所述云对象是经去重复的对象。3.如权利要求1所述的方法，其中所述第一新云对象被锁定，并且所述第二新云对象未被锁定。4.如权利要求1所述的方法，其中对所述第一新云对象进行分区，使得所述第一新云对象的所有段具有落在指定时间范围内的相应过期时间。5.如权利要求1所述的方法，其中所述第一新云对象包括多个段，所述多个段中的每一个段具有相应的过期持续时间，并且所述第一新云对象被RLG锁定对应于所述多个段中最长的过期持续时间的时间段。6.如权利要求1所述的方法，其中所述第一新云对象包括多个段，所述多个段中的每一个段具有相应的过期持续时间，并且所述第一新云对象被RLC锁定对应于所述多个段中最短的过期持续时间的时间段。7.如权利要求6所述的方法，其中所述第一新云对象在对应于所述最短的过期持续时间的时间段结束时过期，并且在所述第一新云对象过期之前，所述方法还包括：复制转发其相应的过期持续时间长于所述最短的过期持续时间的所有段；使用所述复制转发的段来创建第三新云对象；以及从存储装置中删除所述第一新云对象。8.如权利要求1所述的方法，还包括执行有效性检查，以及基于所述有效性检查的结果删除所述第二新云对象。9.如权利要求1所述的方法，其中分离所述过期段和所述未过期段包括：将所述未过期段复制到第一存储器中缓冲器中，并将所述过期段复制到第二存储器中缓冲器中。10.如权利要求1所述的方法，还包括：接收有关所述云对象的锁定请求；确定所述云对象是被锁定还是未被锁定；当确定所述云对象未被锁定时，根据具有所述云对象的所有段的最短持续时间的所述云对象的段的持续时间锁定所述云对象，并更新所述云对象的元数据和所述段的元数据；以及当确定所述云对象被锁定时，确定所述锁定请...
【专利技术属性】
技术研发人员：J，
申请(专利权)人：EMCIP控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。