一种磁盘阵列日志数据旋转分布和同步方法技术

本发明专利技术涉及一种磁盘阵列日志数据旋转分布和同步方法，其步骤包括：1)将磁盘分为若干主磁盘以及对应的若干镜像磁盘，仅将某一个镜像磁盘作为值日日志磁盘，其处于活动状态，其他镜像磁盘处于待机状态；2)将写请求的数据同时写到主磁盘与值日日志磁盘，当值日日志磁盘的剩余可用空间小于预定义的阈值时，将下一个镜像磁盘作为值日日志磁盘，该下一个镜像磁盘从待机状态切换到活动状态。进一步可对上一次值日日志磁盘中与其对应主磁盘中不一致的数据进行同步操作，并将旧的日志空间回收，形成无限循环的逻辑日志空间资源池。本发明专利技术以牺牲一小部分能耗为代价，利用分散式延迟同步方法，能够有效提高系统的整体性能。

【技术实现步骤摘要】

本专利技术属于信息技术、磁盘存储
，具体涉及一种磁盘阵列日志数据旋转分布和同步方法。
技术介绍
数据中心存储系统的评测指标通常由性能、可靠性与能耗三者组成。磁盘阵列是目前数据中心存储系统的主要物理表现形式。典型的磁盘结构RAID10体现了高性能与高可靠性，但由于时刻开启着所有磁盘，能耗较高。日志数据旋转分布方法RoLo(YueY,TianL,JiangH,etal.RoLo:ARotatedLoggingStorageArchitectureforEnterpriseDataCenters[C]//2010InternationalConferenceonDistributedComputingSystemsIEEEComputerSociety,2010:293-304.)在RAID10的基础上，通过轮流将某个镜像磁盘作为值日日志磁盘方法，降低了能耗。同时为了提高系统的可靠性，在切换日志磁盘的时候，将值日日志磁盘所对应的主磁盘上未同步的数据与值日日志磁盘上的数据进行同步。在RoLo中，当值日日志磁盘的剩余带宽不足以完成数据同步时，同步操作与日志操作在值日日志磁盘上的写写竞争使得值日日志磁盘成为系统的瓶颈，从而影响系统的整体性能。
技术实现思路
本专利技术的主要目的在于提出一种磁盘阵列日志数据旋转分布和同步方法(DeRoLo)，以及采用该方法的磁盘结构，与RoLo相比，以牺牲一小部分能耗为代价，利用分散式延迟同步方法，有效提高系统的整体性能。本专利技术采用的技术方案如下：一种磁盘阵列日志数据旋转分布方法，包括如下步骤：1)将磁盘分为若干主磁盘以及与该若干主磁盘对应的若干镜像磁盘，在一段时间内仅将某一个镜像磁盘作为值日日志磁盘，该值日日志磁盘处于活动状态，其他镜像磁盘处于待机状态；2)将写请求的数据同时写到主磁盘与值日日志磁盘，当值日日志磁盘的剩余可用空间小于预定义的阈值时，将值日日志磁盘旋转到下一个镜像磁盘，即将下一个镜像磁盘作为值日日志磁盘，并且该下一个镜像磁盘从待机状态切换到活动状态，而上一个镜像磁盘从活动状态切换到待机状态。进一步地，步骤2)在上一个值日日志磁盘切换到下一个值日日志磁盘时，对上一次值日日志磁盘中与其对应主磁盘中不一致的数据进行同步操作；当同步操作完成时，关闭上一个值日日志磁盘。进一步地，对于已同步的数据，将旧的日志空间回收，从而形成无限循环的逻辑日志空间资源池。一种日志数据旋转分布的磁盘阵列，包括若干主磁盘以及与该若干主磁盘对应的若干镜像磁盘，在一段时间内仅某一个镜像磁盘作为值日日志磁盘，该值日日志磁盘处于活动状态，其他镜像磁盘处于待机状态；在写请求时，将数据同时写到主磁盘与值日日志磁盘，当值日日志磁盘的剩余可用空间小于预定义的阈值时，将值日日志磁盘旋转到下一个镜像磁盘，即将下一个镜像磁盘作为值日日志磁盘，该下一个镜像磁盘从待机状态切换到活动状态，上一个镜像磁盘从活动状态切换到待机状态。进一步地，在上一个值日日志磁盘切换到下一个值日日志磁盘时，对上一次值日日志磁盘中与其对应主磁盘中不一致的数据进行同步操作；当同步操作完成时，关闭上一个值日日志磁盘。进一步地，对于已同步的数据，将旧的日志空间回收，从而形成无限循环的逻辑日志空间资源池。本专利技术的关键点在于：1)实时检测值日日志磁盘的数据量，一旦发现超过阈值，将切换值日日志磁盘；2)对主磁盘与镜像磁盘上不一致的数据进行分散式同步，同步的时机选择在切换值日日志磁盘时，同步上一个值日日志磁盘的数据，避免同步I/O与日志I/O的写写竞争。本专利技术相比于RoLo，以牺牲2％～10％的能耗提升了1X～4X的性能。当数据请求比较密集时，可以采用本专利技术以降低请求的平均响应时间。附图说明图1是日志数据旋转方法逻辑模型示意图。图2是日志数据旋转动态过程示意图。图3是分散式同步过程示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本专利技术做进一步说明。本专利技术主要包括以下两个方面：1)日志数据旋转分布方法与RAID10一样，把一半磁盘作为主磁盘，另一半磁盘作为镜像磁盘。与RAID10不同的是，在一段时间内，只将某一个镜像磁盘作为值日日志磁盘，每次只开启值日日志磁盘，而将其他镜像磁盘切换到待机状态以实现节能。写请求会同时写到两个磁盘，其中一份数据是以标准RAID10的方式及时写到主磁盘，另一份数据是以顺序写的方式写到值日日志磁盘。当值日日志磁盘的剩余可用空间小于预定义的阈值时，将日志磁盘旋转到下一个镜像磁盘。即下一个镜像磁盘作为值日日志磁盘，从待机状态切换到活动状态，而上一个镜像磁盘从活动状态切换到待机状态。该方法只需开启一个镜像磁盘，可节省接近50％的能耗。日志数据旋转分布方法的逻辑模型与日志数据旋转动态过程分别如图1和图2所示。图1中，主磁盘P包括P0、P1、P2等，镜像磁盘M包括M0、M1、M2等，并示意了空闲存储空间、已使用存储空间、值日日志空间、非值日日志空间。图2是本专利技术方法(称为DeRoLo)的日志数据旋转动态过程示意图，其中的(a)图示意了DeRoLo在没有同步时的时间序列，下面的(b)、(c)、(d)图为日志磁盘从M0旋转到M1，以及日志磁盘从M1旋转到M2的示意图。2)分散式同步方法在上一个值日日志磁盘切换到下一个值日日志磁盘的时刻，对上一次值日日志磁盘中与其对应主磁盘中不一致的数据进行同步操作。当同步操作完成时，关闭上一个值日日志磁盘。即在切换值日日志磁盘的时候，不是立刻关闭上一个值日日志磁盘，而是等到该磁盘的同步操作完成后关闭。对于已同步的数据，旧的日志空间能主动回收，从而形成无限循环的逻辑日志空间资源池。DeRoLo的分散式同步过程如图3所示，其中(a)图示意了DeRoLo进行同步的时间序列，包括多个日志阶段；(b)图示意了T0结束时主磁盘和日志磁盘存储的数据；(c)图示意了同步(P0,M0)的过程，(d)图示意了同步(P1,M1)的过程。在DeRoLo的分散式同步方法中，日志I/O(输入/输出操作)作用于当前值日日志磁盘，而同步I/O作用于上一个值日日志磁盘，两者不会产生写写竞争。实例：磁盘阵列日志数据旋转分布和同步方法本实例用微软剑桥研究院的跟踪负载文件进行实验。具体的实现步骤如下：1)不断接收外部请求，放入请求服务队列。2)从请求服务队列中取出一个请求，根据标准RAID10算法分解该数据请求。涉及到的...

【技术保护点】
一种磁盘阵列日志数据旋转分布方法，其特征在于，包括如下步骤：1)将磁盘分为若干主磁盘以及与该若干主磁盘对应的若干镜像磁盘，在一段时间内仅将某一个镜像磁盘作为值日日志磁盘，该值日日志磁盘处于活动状态，其他镜像磁盘处于待机状态；2)将写请求的数据同时写到主磁盘与值日日志磁盘，当值日日志磁盘的剩余可用空间小于预定义的阈值时，将值日日志磁盘旋转到下一个镜像磁盘，即将下一个镜像磁盘作为值日日志磁盘，并且该下一个镜像磁盘从待机状态切换到活动状态，而上一个镜像磁盘从活动状态切换到待机状态。

【技术特征摘要】
1.一种磁盘阵列日志数据旋转分布方法，其特征在于，包括如下步骤：
1)将磁盘分为若干主磁盘以及与该若干主磁盘对应的若干镜像磁盘，在一段时间内仅将
某一个镜像磁盘作为值日日志磁盘，该值日日志磁盘处于活动状态，其他镜像磁盘处
于待机状态；
2)将写请求的数据同时写到主磁盘与值日日志磁盘，当值日日志磁盘的剩余可用空间小
于预定义的阈值时，将值日日志磁盘旋转到下一个镜像磁盘，即将下一个镜像磁盘作
为值日日志磁盘，并且该下一个镜像磁盘从待机状态切换到活动状态，而上一个镜像
磁盘从活动状态切换到待机状态。
2.如权利要求1所述的方法，其特征在于：步骤2)在上一个值日日志磁盘切换到下一个值
日日志磁盘时，对上一次值日日志磁盘中与其对应主磁盘中不一致的数据进行同步操作；
当同步操作完成时，关闭上一个值日日志磁盘。
3.如权利要求2所述的方法，其特征在于：对于已同步的数据，将旧的日志空间回收，从而
形成无限循环的逻辑日志空间资源池。
4.如权利要求2或3所述的方法，其特征在于，所述同步操作的方法是：从主磁盘上读取还
未同步的元数据列表，先进行去重与合并操作，然后根据每条元数据记录的起始位置和请
求大小，从主磁盘读取该元数据对应的数据，并写入对应的镜像磁盘。
5.如权利要求1所述的方法，其特征在于：步骤2)将写请求的数据同时写到主磁盘与值日
日志磁盘时，其中一份数据以标准RAID10的方式及时写到主磁盘，另一份数据以顺序写
的方式写...

【专利技术属性】
技术研发人员：岳银亮，胡佳婷，李宇哲，王伟平，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11