存储系统技术方案

以通过将数据流划分成任意大小的块而生成的块数据为单位执行重复存储消除。另外，通过将块数据进一步划分成多条数据来生成子块数据，并且在预定存储设备中存储基于多条子块数据中的每一条子块数据的数据内容的子地址数据。这样，也基于子地址数据以子块数据为单位执行重复存储消除。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种存储系统，并且具体地涉及一种具有数据去重(deduplication)的存储系统。
技术介绍
去重的主要价值显然地在于减少所需存储空间，这转译成提高的可靠性和由于减少的功率消耗和总体更低的设施成本所致的显著操作节省。然而，为了这些节省具体化，需要考虑为了不仅保持备份数据而且保持所有类型的元数据(例如，备份应用元数据、中间级元数据(如文件系统)以及用于定位和去重的恰当后端元数据)而必需的总存储空间。向图片添加元数据不仅对于估计由去重产生的节省是必要的，而且经常改变特定存储系统中的各种去重备选的相关效用。如今，用于将备份数据划分成块组(chunk)以进行去重的标准技术是内容限定的块组化(⑶C)(NPL 16,20) ο它使用Rabin指纹(NPL 22)以选择输入流中的块组边界来产生可变长度的块组。它不维持任何状态，并且它在原有流中存在数据插入和删除时有效，因为在下一块分割器运行时回调未修改的切割点，从而识别未改变的块组以用于去重。另外，为了良好地工作，CDC无需知道备份流边界和它们的排序。这与商业设置的现实相得益彰，其中标准备份应用通常假设“哑”存储后端，这使得该信息向后端的传递不可能。引用列表非专利文献 NPL I:NPL 1:EMC Corp.EMC Centera:content addressed storage system,2008 年 I月,http://www.emc.com/products/family/emccentera-family.htm -openfolder =platform。NPL 2:ARONOVICH, L，ASHER, R.，BACHMAT，E.，BITNER，H.，HIRSCH，M.，和 KLEIN，S.T., The design of a similarity based deduplication system.SYSTOR ' 09 的Proceedings of SYSTOR 2009:The Israeli Experimental Systems Conference (纽约，NY，USA，2009)，ACM，pp.1-14。NPL 3:BARRET0，JO A.，和 FERREIRA，P.，Efficient file storage usingcontent-based indexing.SOSPr 05 的 Proceedings of the twentieth ACM symposiumon Operating systems principles (纽约，NY，USA，2005)，ACM，pp.1-9。NPL 4:BARRET0，JO A.，和 FERREIRA，P.，Efficient locally trackablededuplication in replicated systems.Middleware' 09 的 Proceedings of the ACM/IFIP/USENIX 10th international conference on Middleware (桕林，海德堡，2009)，Springer-Verlag, pp.103-122。NPL 5:BHAGWAT, D.，ESHGHI，K.，LONG，D.D.E.，和 LILLIBRIDGE, M.，Extremebinning!Scalable，parallel deduplication for chunk-based file backup0NPL 6:BHAGWAT, D.，POLLACK, Κ.，LONG，D.D.Ε.，SCHWARZ，Τ.，MILLER, Ε.L，和PARISjJ.-F.,Providing high reliability in a minimum redundancy archival storagesystem.MASCOTS ! 06 的 Proceedings of the 14th IEEE International Symposiumon Modeling，Analysis, and Simulation (Washington, DC，USA，2006)，IEEE ComputerSociety, pp.413-421。NPL 7:B0BBARJUNG， D.R.， JAGANNATHAN， S.，和 DUBNICKI， C.， Improvingduplicate elimination in storage systems, Trahs.Storage 2，4(2006)，424-448。NPL 8:C0X，LP.，MURRAY，C.D.，和 N0BLE，B.D.，Pastiche:making backup cheapand easy, OSDI ! 02 的 Proceedings of the 5th symposium on Operating systemsdesign and implementation (纽约，NY，USA，2002)，ACM，pp.285-298。NPL 9:DUBNICKI，C.，GRYZ, L.，HELDT, L.，KACZMARCZYK，M.，KILIAN，W.，STRZELCZAK，P.，SZCZEPKOWSKI，J.，UNGUREANU，C.，和 WELNICKI，M.,Hydrastor:a scalablesecondary storage，FAST' 09 的 Proceedings of the 7th conference on File andstorage technologies (伯克利，CA，USA，2009)，USENIX Association，pp.197-210。NPL 10:KRUUS, E.，UNGUREANU，C.，和 DUBNICKI，C.，Bimodal content definedchunking for backup streams，FAST(2010)，pp.239-252。NPL 11:KULKARNI, P.，D0UGLIS，F.，LAVOIE, J.，和 TRACEY，J.M.Redundancyelimination within large collections of files， ATECr 04 的 Proceedings of theannual conference on USENIX Annual Technical Conference (伯克利，CA，USA，2004)，USENIX Association，pp.5-5.NPL 12:LEE，W.，和 PARK，C.，An adaptive chunking method for personaldata backup and sharing，2010 年 2 月，8th USENIX Conference on File and StorageTechnologies(FAST 10) poster session。NPL 13:LILLIBRIDGE, M.，ESHGHI，K.，BHAGWAT, D.，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.08.31 US 61/378,8201.一种存储系统，包括: 块数据去重单元，所述块数据去重单元在存储设备中存储通过将数据流划分成任意大小的块而生成的块数据,所述块数据由基于所述块数据的数据内容的地址数据来指向，并且当尝试在所述存储设备中存储具有与已经被存储在所述存储设备中的所述块数据的所述数据内容相同的数据内容的另一条块数据时，在所述存储设备中存储指向已经被存储在所述存储设备中的所述块数据的所述地址数据作为所述另一条块数据，以由此执行所述块数据的重复存储消除；以及 子块数据去重单元，所述子块数据去重单元在所述存储设备中存储通过将所述块数据进一步划分成多条数据而生成的子块数据，所述多条子块数据中的每一条子块数据由基于所述子块数据的数据内容的一条子地址数据来指向，在预定存储设备中存储包括多条子地址数据的子地址数据组，并且当尝试在所述存储设备中存储具有与已经被存储在所述存储设备中的所述子块数据的所述数据内容相同的数据内容的另一条子块数据时，将指向已经被存储在所述存储设备中的所述子块数据的所述一条子地址数据作为所述另一条子块数据存储在所述预定存储设备中，以由此执行所述子块数据的重复存储消除。2.根据权利要求1所述的存储系统，其中: 所述子块数据去重单元对通过划分所述块数据去重单元未对其执行重复存储消除的另一块数据而生成的所述多条子块数据执行所述子块数据的重复存储消除。3.根据权利要求1所述的存储系统，其中: 如果基于所述块数据的数据内容而从所述数据流中的至少一条块数据检测到的特征值满足设置的条件，则所述子块数据去重单元在所述预定存储设备中与满足所述设置的条件的所述特征值相关联地存储所述子地址数据组，所述子地址数据组指向通过划分与从其检测到满足所述设置的条件的所述特征值的所述块数据相邻的另一条块数据而生成的多条子块数据。4.根据权利要求3所述的存储系统，其中: 如果从所述数据流中的所述一条块数据检测到的所述特征值已经被存储在所述预定存储设备中，则所述子块数据去重单元将已经与所述特征值相关联地存储的所述子地址数据组与指向构成与从其检测到所述特征值的所述块数据相邻的另一块数据的多条子块数据的子地址数据组进行比较，以由此执行所述子块数据的重复存储消除。5.根据权利要求4所述的存储系统，其中: 如果作为在所述子地址数据组之间的比较的结果而未在所述存储设备中存储多条所述子块数据，则所述子块数据去重单元通过组合所述多条子块数据来存储它们。6.根据权利要求3所述的存储系统，其中: 所述子块数据去重单元在所述预定存储设备中与多个子地址数据组相关联地存储满足所述设置的条件的所述特征值。7.根据权利要求2所述的存储系统，其中: 所述子块数据去重单元在所述预定存储设备中存储与满足所述设置的条件的所述特征值相关联的所述子地址数据组，其中所述预定存储设备的读取和写入速度比存储所述块数据和所述子块数据的所述存储设备的读取和写入速度更高。8.一种存储程序的计算机可读介质，所述程序包括指令，用于使信息处理器设备实现: 块数据去重单元，所述块数据去重单元在存储设备中存储通过将数据流划分成任意大小的块而生成的块数据，所述块数据由基于所述块数据的数据内容的地址数据来指向，并且当尝试在所述存储...

【专利技术属性】
技术研发人员：B·罗曼斯基，L·赫尔特，W·基利恩，K·利霍塔，C·达布尼克基，
申请(专利权)人：日本电气株式会社，
类型：
国别省市：