基于差量压缩的重删系统中的碎片重写方法及控制器技术方案

本发明专利技术公开了一种基于差量压缩的重删系统中的碎片重写方法及控制器，属于数据存储技术领域，包括：对于存储数据块的每一个内存分段，统计各容器被其中重复数据块和差量数据块引用的次数，以筛选出被引用次数最大的T个容器，将当前内存分段中引用所筛选容器的重复数据块和差量数据块标记为非碎片化数据块，将引用其余容器的自重复数据块和差量数据块标记为碎片化数据块；进一步结合容器的稀疏性、模拟恢复缓存和滑动窗口识别数据块是否为碎片；遍历数据块，若为非碎片化的重复数据块，则进行去重；若为非碎片化的差量数据块，则进行差量压缩；若为碎片化数据块或非重复数据块，则重写。本发明专利技术能够在保证去重率的情况下提高系统恢复性能。统恢复性能。统恢复性能。

【技术实现步骤摘要】
基于差量压缩的重删系统中的碎片重写方法及控制器


[0001]本专利技术属于数据存储
，更具体地，涉及基于差量压缩的重删系统中的碎片重写方法及控制器。

技术介绍

[0002]数据去重技术和差量压缩技术都是现在比较常用的冗余数据消除技术。相较于传统的数据压缩技术，数据去重技术在更大粒度(比如，文件、4KB大小的数据块)上进行识别和消除冗余数据。因此，数据去重技术的速度更快，在更大规模的存储系统上的冗余数据消除性能更高。在数据规模爆发性扩大的背景下，数据去重技术能够有效满足海量数据下冗余数据消除的性能要求，被广泛应用于现有的存储系统。差量压缩技术是一种在两份不同的数据之间消除冗余数据，从而只需要额外存储一份差异数据的技术。数据去重只能消除拥有相同内容的重复数据，而差量压缩能针对不同内容的两份数据进行冗余消除，因此，现有的相关研究都将差量压缩作为数据去重之后的一种补充的压缩技术，在数据去重技术应用之后，再对去重后的存储系统进行差量压缩以节省更多的存储空间。
[0003]数据去重技术一般分为四个阶段：数据分块；指纹计算；指纹索引；数据存储。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于差量压缩的重删系统中的碎片重写方法，其特征在于，包括如下步骤：(S1)对于待写入的数据流，将其划分为数据块，并识别其中的重复数据块和差量数据块后，对于存储数据块的每一个内存分段，统计各容器被该内存分段中的重复数据块和差量数据块引用的次数，以筛选出被引用次数最大的前T个容器，将当前内存分段中引用所筛选容器的重复数据块和差量数据块标记为非碎片化数据块，将当前内存分段中引用其余容器的自重复数据块和差量数据块标记为碎片化数据块；T为正整数；(S2)遍历数据块，对于遍历到的每一个数据块，判断其类型，若为非碎片化数据块中的重复数据块，则进行去重；若为非碎片化数据块中的差量数据块，则进行差量压缩；若为碎片化数据块或非重复数据块，则重新分配容器并写入。2.如权利要求1所述的基于差量压缩的重删系统中的碎片重写方法，其特征在于，所述步骤(S1)还包括：对于未被筛选容器中的非自重复数据块，判断其所引用的容器当前是否被标记为稀疏容器，若是，则将该非自重复数据块标记为碎片化数据块；否则，将该非自重复数据块标记为非碎片化数据块；其中，稀疏容器为利用率低于预设的利用率阈值的容器；容器的利用率为引用该容器的重复数据块和差量数据块的大小之和与容器容量的比值。3.如权利要求2所述的基于差量压缩的重删系统中的碎片重写方法，其特征在于，还包括：在当前数据流备份结束后，计算各容器的利用率，并将其中利用率低于所述利用率阈值的容器标记为稀疏容器。4.如权利要求1～3任一项所述的基于差量压缩的重删系统中的碎片重写方法，其特征在于，还包括：在内存中维护用于缓存指定数量容器的模拟恢复缓存；并且，所述步骤(S2)中，对于当前所遍历到的数据块，若其在步骤(S1)中被识别为差量数据块，则在判断其...

【专利技术属性】
技术研发人员：王芳，冯丹，秦磊华，施展，王强，王丰，严伟杰，刘昊，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：