选择用于数据存储库的重复删除协议制造技术

一种选择用于数据存储库的重复删除协议的方法，该数据存储库包括配置为RAID阵列的多个数据存储设备，该方法建立：常规重复删除协议、RAID故障重复删除协议、以及多存储设备故障重复删除协议。该方法接收包括多个交织数据块的主机数据。如果系统在没有任何存储设备故障的情况下运行，则该方法使用常规重复删除协议来处理主机数据。如果系统在具有一个存储设备故障的情况下运行，则该方法使用RAID故障重复删除协议来处理主机数据。如果系统在具有多个存储设备故障的情况下运行，则该方法使用多存储设备故障重复删除协议来处理主机数据。

【技术实现步骤摘要】

本专利技术涉及选择用于数据存储库的重复删除(deduplication)协议的装置和方法。
技术介绍
计算系统生成信息。使用多个数据存储介质来存储这种信息在本领域内是已知的。在独立磁盘冗余阵列(“RAID”)配置中，信息被存储在数据存储介质的阵列中，以提供容错和改进的数据访问性能。RAID通过使用专用硬件或者软件将物理存储介质组合到单个逻辑单元中。在RAID3、4、5和6阵列配置中，称为“数据条带化(datastriping) ”的过程与奇偶校验数据(也即，编码的冗余信息)结合使用。在RAID6中，使用行条带和对角线条带二者，并且一组奇偶校验与每个行条带相关联，而另一组奇偶校验与每个对角线条带相关联，以用于双冗余。在RAID6中，行奇偶校验可以集中在单个行奇偶校验存储介质中，而对角线奇偶校验可以集中在不同的单个对角线奇偶校验存储介质中，或者行和对角线奇偶校验可以跨阵列中的所有数据存储介质而分布。每个RAID条带包括预定数目的顺序逻辑块阵列。通过对数据进行条带化以及跨阵列中的所有驱动器来分布奇偶校验，优化的性能通过最小化对单个驱动器的恒定访问得以实现。如果RAID6配置中的驱动器发生故障失效，则可以使用其余驱动器上的奇偶校验数据来重建写入故障驱动器的数据。如果阵列配置有在线备用驱动器，则当检测到故障驱动器时，RAID重建自动开始。如果阵列未配置有备用驱动器，则RAID重建在故障驱动器被替换后开始。为了重建丢失的数据，从阵列中的其余驱动器读取每个丢失的条带。使用由RAID控制器异或(“X0R”)引擎执行的XOR操作来恢复丢失的条带。在XOR引擎恢复丢失的条带之后，向替换驱动器或者在线备用驱动器写入该恢复的条带。对于RAID3、4和5而言，重建过程涉及从阵列中可操作驱动器的N-I次读取，以及向替换驱动器或在线备用驱动器的单次写入。当条带完全恢复时，重建过程继续恢复下一丢失的条带。对于RAID级别6下的双故障，使用行条带和对角线条带二者来构造驱动器数据，该数据正被重建到两个备用驱动器中。在重建过程期间，阵列保持对于用户是可访问的。RAID控制器必须分配系统资源以处理主机I/O请求以及处理RAID重建二者。
技术实现思路
本专利技术包括一种选择用于数据存储库的重复删除协议的方法，该数据存储库包括配置为RAID阵列的多个数据存储设备。该方法建立常规重复删除协议、RAID故障重复删除协议、以及多存储设备故障重复删除协议。该方法接收包括多个交织数据块的主机数据。如果系统在没有任何存储设备故障的情况下运行，则该方法使用常规重复删除协议来处理主机数据。如果系统在具有一个存储设备故障的情况下运行，则该方法使用RAID故障重复删除协议来处理主机数据。如果系统在具有多个存储设备故障的情况下运行，则该方法使用多存储设备故障重复删除协议来处理主机数据。在某些实施方式中，该方法动态地设置重复删除协议。在这些实施方式中，重复删除协议是故障数据存储设备的数目、实际RAID重建速率、最小RAID重建阈值以及最大RAID 重建阈值的函数。附图说明现在，将仅仅通过示例的方式参考附图来描述本专利技术的实施方式，其中图I是示出按照本专利技术一个实施方式的数据存储系统的一个实施方式的框图。图2A是示出使用光纤信道仲裁回路与多个数据存储介质通信的一个RAID控制器的框图。图2B是示出使用双光纤信道仲裁回路与多个数据存储介质通信的两个RAID控制器的框图。图3是概括出按照本专利技术第一实施方式的方法中的某些步骤的流程图。图4是概括出按照本专利技术第二实施方式的方法中的某些步骤的流程图。图5是概括出第二实施方式的某些附加步骤的流程图。具体实施方式在下文描述中，将参考附图通过优选实施方式来描述本专利技术，附图中的相似数字表示相同或相似的元素。在整个说明书中，提及“一个实施方式”、“实施方式”或类似的语言表示结合该实施方式描述的特定特征、结构或者特性包括在本专利技术的至少一个实施方式中。由此，在本专利技术中出现的短语“在一个实施方式中”、“在实施方式中”以及类似语言可以但并非一定都表不相同的实施方式。所描述的本专利技术的特征、结构或者特性可以通过任何适当的方式结合在一个或多个实施方式中。在下文描述中，记载了多个特定的细节，以便提供对本专利技术实施方式的透彻理解。然而，相关领域的技术人员将会认识到，可以在无需一个或多个特定细节的情况下实践本专利技术，或者可以利用其他方法、组件、材料等来实践本专利技术。在其他情况下，没有示出或详细描述公知的结构、材料或者操作，以便混淆本专利技术的方面。在图I示出的实施方式中，数据处理系统100包括RAID控制器120以及数据存储介质130、140、150和160。在图I示出的实施方式中，RAID控制器120分别经由I/O协议 132、142、152 和 162 来与数据存储介质 130、140、150 和 160 通信。I/O 协议 132、142、152 和162可以包括任何类型的I/O协议，包括但不限于光纤信道回路、SCSI (小型计算机系统接口)、iSCSI (因特网SCSI)、SAS (串行附接SCSI)、光纤信道、光纤信道上的SCSI、以太网、以太网上的光纤信道、无限频带以及SATA (串行ATA)。“数据存储介质”表示信息存储介质，其结合有向该信息存储介质写入信息以及从其读取信息所需的硬件、固件和/或软件。在某些实施方式中，信息存储介质包括磁性信息5存储介质，诸如但不限于磁盘、磁带等。在某些实施方式中，信息存储介质包括光学信息存储介质，诸如但不限于CD、DVD (数字通用盘)、HD-DVD (高清DVD)、BD (蓝光盘)等。在某些实施方式中，信息存储介质包括电子信息存储介质，诸如PROM、EPROM、EEPROM、闪速PROM、压缩闪存、智能介质等。在某些实施方式中，信息存储介质包括全息信息存储介质。在图I示出的实施方式中，RAID控制器120与主机计算机102、104和106通信。一般而言，主机计算机102、104和106每个都包括计算系统，诸如大型机、个人计算机、工作站及其组合，其包括操作系统，诸如WindowS、AIX、Unix、MVS、LINUX等(Windows是微软公司的注册商标；AIX是IBM公司的注册商标，MVS是IBM公司的商标；UNIX是美国和其他国家中的注册商标，通过OpenGroup独占许可；并且LINUX是Linux Torvald的注册商标)。在某些实施方式中，一个或多个主机计算机102、104和/或106还包括存储管理程序。在某些实施方式中，该存储管理程序可以包括本领域中已知的存储管理类程序的功能，其管理去往和来自数据存储和检索系统(例如但不限于在IBM MVS操作系统中实现的IBM DFSMS)的数据传送。在图I示出的实施方式中，本专利技术的RAID控制器120包括处理器128、XOR引擎129、计算机可读介质121、写入到计算机可读介质121的微码122，以及写入到计算机可读介质121的指令124。处理器128使用微码122来操作RAID控制器120。在图I示出的实施方式中，RAID控制器120还包括重建位图126，其中重建位图包括N个指示符，并且其中每个指示符与不同的数据条带相关联。如果第i个指示符被设为第一值，则相关联的数据本文档来自技高网...

【技术保护点】
一种用于建立在数据存储库中使用的数据重复删除协议的方法，所述数据存储库包括配置为RAID阵列的多个数据存储设备，所述方法包括步骤：接收交织信息的多个块；确定故障数据存储设备的数目M；建立偏移因子O的值；计算N的值，其中N＝M+1+MO；对每第N个数据块进行重复删除。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：N·豪斯泰恩，D·J·维纳尔斯基，U·特罗普恩斯，C·A·克莱恩，A·K·贝特斯，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：