数据压缩装置、数据存储装置和用于数据压缩和重复数据删除的方法制造方法及图纸

本发明专利技术提供了一种数据压缩装置，包括控制器，所述控制器用于：接收待压缩的数据对象；指示所述数据对象中的一个或多个数据块；为所述一个或多个数据块中的每一个数据块确定哈希值；随后，压缩所述数据对象；生成头元素，其中，所述头元素包括所述一个或多个数据块中的每一个数据块的哈希值，并将所述头元素附加到所述压缩后的数据对象，其中，所述头元素被设置为指示所述压缩后的数据对象中的所述一个或多个数据块。多个数据块。多个数据块。

【技术实现步骤摘要】
【国外来华专利技术】数据压缩装置、数据存储装置和用于数据压缩和重复数据删除的方法


[0001]本专利技术大体上涉及数据压缩和重复数据删除领域；具体而言，涉及一种数据压缩装置、一种数据存储装置、一种用于数据压缩的方法和一种用于存储数据对象的方法。

技术介绍

[0002]通常，数据备份用于在主存储系统(例如主机服务器)中发生数据丢失时保护和恢复数据。出于安全考虑，单独的备份系统或存储系统广泛用于存储主存储系统中存在的数据的备份。通常，随着时间的推移，由于数据不断变化或新数据在传统存储系统中占用了大量存储空间，存储系统的存储空间被占用。这不是理想的情况，因为会降低存储系统的性能。此外，数据存储的成本以及包括存储硬件成本在内的所有关联成本仍然是一个负担。通常，存储系统广泛运用重复数据删除，用于在不损害原始数据保真度的情况下消除存储系统上存储的重复或冗余数据。此外，压缩系统也广泛使用数据压缩来以空间高效的格式将数据存储在存储系统上。在存储系统中，通常以数据块的形式存储数据。
[0003]通常，传统系统用于数据复制和压缩。然而，数据压缩通常是局部特性，在压缩大块数据时本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种数据压缩装置(102)，其特征在于，包括控制器(202)，所述控制器(202)用于：接收待压缩的数据对象(302、314、406、514、532)；指示所述数据对象(302、314、406、514、532)中的一个或多个数据块(304、306、308、410、504、506、508、524、526)；为所述一个或多个数据块(304、306、308、410、504、506、508、524、526)中的每一个数据块确定哈希值；随后，压缩所述数据对象(302、314、406、514、532)；生成头元素(312、404、512、530)，其中，所述头元素包括所述一个或多个数据块(304、306、308、410、504、506、508、524、526)中的每一个数据块的所述哈希值，并将所述头元素(312、404、512、530)附加到压缩后的数据对象(510、528)，其中，所述头元素(312、404、512、530)被设置为指示所述压缩后的数据对象(510、528)中的所述一个或多个数据块(304、306、308、410、504、506、508、524、526)。2.根据权利要求1所述的数据压缩装置(102)，其特征在于，所述控制器(202)还用于指示所述数据对象(302、314、406、514、532)中的所述一个或多个数据块(304、306、308、410、504、506、508、524、526)，使得所述一个或多个数据块(304、306、308、410、504、506、508、524、526)中的至少两个数据块具有不同的大小。3.根据权利要求1或2所述的数据压缩装置(102)，其特征在于，所述控制器(202)还用于：确定重复数据序列从第一数据块(304、306、308、410、504、506、508、524、526)延伸至第二数据块(304、306、308、410、504、506、508、524、526)，其中，所述第一数据块(304、306、308、410、504、506、508、524、526)包括所述重复数据序列的第一部分，所述第二数据块(304、306、308、410、504、506、508、524、526)包括所述重复数据序列的第二部分；如果这样的话，则：调整所述第一数据块(304、306、308、410、504、506、508、524、526)，以包括所述重复数据序列；调整所述第二数据块(304、306、308、410、504、506、508、524、526)，以包括所述重复数据序列。4.根据前述权利要求中任一项所述的数据压缩装置(102)，其特征在于，所述头元素(312、404、512、530)还包括每个数据块(304、306、308、410、504、506、508、524、526)的开始指示和每个数据块(304、306、308、410、504、506、508、524、526)的结束指示。5.根据前述权利要求中任一项所述的数据压缩装置(102)，其特征在于，所述控制器(202)还用于：接收第二数据对象；指示所述第二数据对象中的一个或多个数据块(304、306、308、410、504、506、508、524、526)；压缩所述数据对象(302、314、406、514、532)，其中，所述压缩后的数据对象被设置为指示所述一个或多个数据块(304、306、308、410、504、506、508、524、526)；确定所述第二数据对象中的压缩后的数据块(316、318、320、408、412、516、518、520、534、536)是否对应于所述数据对象(302、314、406、514、532)中的压缩后的数据块(316、
318、320、408、412、516、518、520、534、536)；如果确定结果为是，则将一个数据块(304、306、308、410、504、506、508、524、526)替换为另一个数据块(304、306、308、410、504、506、508、524、526)。6.根据权利要求5所述的数据压缩装置(102)，其特征在于，所述控制器(202)还用于：为所述第二数据对象(302、314、406、514、532)中的所述数据块(304、306、308、410、504、506、508、524、526)中的每一个数据块生成哈希值；基于为所述数据块(304、306、308、410、504、506、508、524、526)生成的哈希值，确定所述第二数据对象(302、314、406、514、532)中的所述压缩后的数据块(316、318、320、408、412、516、518、520、534、536)是否对应于所述数据对象(302、314、406、514、532)中的所述压缩后的数据块(316、318、320、408、412、516、518、520、534、536)。7.根据权利要求5或6所述的数据压缩装置(102)，其特征在于，所述控制器(202)还用于通过将所述压缩后的数据块(316、318、320、408、412、516、518、520、534、536)中较大的一个数据块替换为所述压缩后的数据块(316、318、320、408、412、516、518、520、534、536)中较小的一个数据块的参考数据块，从而将一个压缩后的数据块(316、318、320、408、412、516、518、520、534、536)替换为另一个压缩后的数据块。8.根据权利要求5、6或7所述的数据压缩装置(102)，其特征在于，所述控制器(202)还用于通过以下步骤将一个压缩后的数据块(316、318、320、408、412、516、518、520、534、536)替换为另一个压缩后的数据块(316、318、320、408、412、516、518、520、534、536)：确定哪个压缩后的数据块(316、318、320、408、412、516、518、520、534、536)解压缩速度较快；将解压缩速度较慢的所述压缩后的数据块(316、318、320、408、412、516、518、520、534、536)替换为解压缩速度较快的所述压缩后的数据块(316、318、320、408、412、516、518、520、534、536)的参考数据块。9.根据权利要求5、6、7或8所述的数据压缩装置(102)，其特征在于，所述控制器(202)还用于通过以下步骤将一个压缩后的数据块(316、318、320、408、412、516、518、520、534、536)替换为另一个压缩后的数据块(316、318、320、408、412、516、518、520、534、536)：确定所述数据对象(302、314、406、514、532)中的所述压缩后的数据块(316、318、320、408、412、516、518、520、534、536)的压缩依赖关系和所述第二数据对象(302、314、406、514、532)中的所述压缩后的数据块(316、318、320、408、412、516、518、520、534、536)的压缩依赖关系...

【专利技术属性】
技术研发人员：阿萨夫，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：