一种存储系统中的数据重构方法和装置制造方法及图纸

技术编号:21059675 阅读:38 留言:0更新日期:2019-05-08 06:40
一种存储系统中的数据重构方案,所述存储系统包括一个或多个存储节点,所述一个或者多个存储节点包括多个硬盘,分条的条带分散存储在所述多个硬盘中,每个条带存储于一个所述硬盘,当所述多个硬盘中出现故障硬盘后,确定所述分条所包含的目标条带,其中,所述目标条带分布在所述故障硬盘中,并且所述分条可以被读出;判断所述故障硬盘发生故障之后所述目标条带是否是最近一次更新的数据;当所述故障硬盘发生故障之后所述目标条带中的数据是最近一次更新的数据时,将所述目标条带中的数据作为重构数据发送给所述故障硬盘的替代硬盘进行存储。

A Method and Device for Data Reconstruction in Storage System

【技术实现步骤摘要】
一种存储系统中的数据重构方法和装置
本专利技术涉及存储领域,特别有关于数据重构技术。
技术介绍
大数据时代,数据存储可靠保存性成为研究的热点。纠删码(erasurecoding,EC)和多副本(multi-copy)是常见的数据冗余保护方式。多副本是把相同的数据保存多份,只要不是所有副本都丢失,数据就不会丢失。副本的数量越多,则存储资源的实际利用率越底。N副本的硬盘利用率是1/n。纠删码是另外一种数据保护方法,对n个数据条带(datastip)进行冗余编码,生成m个校验条带(paritystip),这n+m个条带组成一个分条(stripe)。为了提高可靠性,可以把这n+m个条带分散存储在不同的硬盘上。当发生数据丢失时(例如:某个硬盘发生故障),只要丢失条带的个数不大于m,就可以用n个条带(这n个条带都是未丢失的)对已丢失的条带进行重构。纠删码的存储资源利用率是n/(n+m)。由于纠删码比多副本存储具有更高的存储资源利用率和更低的冗余度,因此在存储领域得到非常的应用。然而,基于纠删码的数据重构,需要读出n个条带才能完成重构计算。当某个硬盘故障时,故障硬盘上的所有分条都需要进行重构,那么本文档来自技高网...

【技术保护点】
1.一种存储系统中的数据重构方法,其特征在于,所述存储系统包括一个或多个存储节点,所述一个或者多个存储节点包括多个硬盘,分条的条带分散存储在所述多个硬盘中,每个条带存储于一个所述硬盘,所述方法包括:当所述多个硬盘中出现故障硬盘后,确定所述分条所包含的目标条带,其中,所述目标条带分布在所述故障硬盘中,并且所述分条可以被读出;判断所述故障硬盘发生故障之后所述目标条带是否是最近一次更新的数据;当所述故障硬盘发生故障之后所述目标条带中的数据是最近一次更新的数据时,将所述目标条带中的数据作为重构数据发送给所述故障硬盘的替代硬盘。

【技术特征摘要】
1.一种存储系统中的数据重构方法,其特征在于,所述存储系统包括一个或多个存储节点,所述一个或者多个存储节点包括多个硬盘,分条的条带分散存储在所述多个硬盘中,每个条带存储于一个所述硬盘,所述方法包括:当所述多个硬盘中出现故障硬盘后,确定所述分条所包含的目标条带,其中,所述目标条带分布在所述故障硬盘中,并且所述分条可以被读出;判断所述故障硬盘发生故障之后所述目标条带是否是最近一次更新的数据;当所述故障硬盘发生故障之后所述目标条带中的数据是最近一次更新的数据时,将所述目标条带中的数据作为重构数据发送给所述故障硬盘的替代硬盘。2.根据权利要求1所述的方法,判断所述故障硬盘发生故障之后所述目标条带是否是最近一次更新的数据,具体包括:获得所述目标条带版本号,获得所述分条版本号,判断所述目标条带版本号和所述分条版本号一致;其中,当所述目标条带版本号和所述分条版本号一致时,所述故障硬盘发生故障之后所述目标条带中的数据是最近一次更新的数据。3.根据权利要求2所述的方法,其中,所述分条中包括N各数据条带和M个校验条带,获得所述分条版本号具体包括:获取M+1个条带的版本号,当获取的M+1个条带的版本号一致,则把获取的M+1个条带的版本号作为所述分条版本号。4.根据权利要求2所述的方法,在获得所述分条的版本号,以及获得所述故障硬盘中目标条带版本号之前,还包括:故障硬盘所在的目标存储节点检测到所述故障硬盘的故障。5.根据权利要求4所述的方法,检测到所述故障硬盘的故障之后,还包括:隔离所述故障硬盘,其中,隔离后的故障硬盘不能被故障硬盘所在存储节点访问;以隔离的方式导入被隔离的所述故障硬盘,其中,被导入后的所述故障硬盘能够被所述故障硬盘所在存储节点访问,被导入后的所述故障硬盘不属于逻辑单元号(LUN)。6.根据权利要求1或2所述的方法,当所述多个硬盘中出现故障硬盘之后,还包括:在所述故障硬盘所涉及的LUN中,用所述替代硬盘代替所述故障硬盘。7.根据权利要求2所述的方法,进一步包括:当所述故障硬盘发生故障之后所述目标条带中的数据不是最近一次更新的数据时,通过纠删码算法重构生成所述目标分条的重构数据发送给所述故障硬盘的替代硬盘。8.一种数据重构装置,用于对存储系统中的条带进行重构,所述存储系统包括一个或多个存储节点,所述一个或者多个存储节点包括多个硬盘,分条的条带分散存储在所述多个硬盘中,每个条带存储于一个所述硬盘,包括:确定模块,用于当所述多个硬盘中出现故障硬盘后,确定所述分条所包含的目标...

【专利技术属性】
技术研发人员:王英赵小宝
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1