纠删码存储系统数据快速恢复方法、装置及存储介质制造方法及图纸

本发明专利技术属于计算机存储领域，公开了一种纠删码存储系统数据快速恢复方法、装置及存储介质，当管理节点检测到若干数据节点失效时，管理节点根据校验节点和数据节点的码元编号得到水平校验集和反对角校验集，根据失效数据节点的码元编号，通过水平校验集和反对角校验集得到能够恢复失效数据节点的码元数据的校验集合，根据校验集合确定每个正常节点的待读取码元编号集合，根据每个正常节点的待读取码元编号集合从对应节点中读取码元数据，根据读取的码元数据和校验集合通过异或运算得到失效数据节点的失效码元数据。与现有恢复算法相比，能够减少约25％的码元读取量，极大地减少了从硬盘读取与从网络上传输的数据量，提升了修复效率。

Fast data recovery method, device and storage medium of erasure code storage system

The invention belongs to the field of computer storage, and discloses a fast data recovery method, device and storage medium of erasure code storage system. When the management node detects the failure of several data nodes, the management node obtains the horizontal check set and the anti angle check set according to the check node and the code number of the data node, and passes the horizontal check set according to the code number of the failed data node The check set of the symbol data that can recover the invalid data node is obtained from the check set and the opposition angle check set. The code number set to be read of each normal node is determined according to the check set. The code data is read from the corresponding node according to the code number set to be read of each normal node. The loss of the invalid data node is obtained by XOR operation according to the read code data and the check set Effective symbol data. Compared with the existing recovery algorithm, it can reduce the amount of symbol reading by about 25%, greatly reduce the amount of data read from the hard disk and transmitted from the network, and improve the repair efficiency.

【技术实现步骤摘要】
纠删码存储系统数据快速恢复方法、装置及存储介质
本专利技术属于计算机存储领域，涉及一种纠删码存储系统数据快速恢复方法、装置及存储介质。
技术介绍
构建分布式存储系统最基本的一个需求是保证信息的可靠性与可用性，在系统出现故障时，为了实现高可靠与高可用性，早期的分布式存储系统主要采用副本技术，例如GFS、Dynamo等系统，由于副本技术需要较高的额外存储空间，近年来，分布式存储系统逐渐转向使用纠删码技术，例如微软的WAS(WindowsAzureStorage)使用了LRC码，著名的开源系统Ceph支持RS码、再生码以及各种异或类纠删码。目前的分布式存储系统大部分都建立在廉价商用服务器之上，软件更新、系统重启、网络故障、硬件失效等事件频繁发生，导致数据会暂时性或永久性不可用。虽然纠删码能容忍多个节点同时失效，但是单节点失效所占的比例高达99.75％，所以针对单节点失效的数据恢复进行优化有非常重要的意义。LiberationCodes是一种低密度的RAID-6码，编解码时只进行异或运算，能容忍任意2个节点失效，在所有的水平RAID-6本文档来自技高网...

【技术保护点】
1.一种纠删码存储系统数据快速恢复方法，其特征在于，所述纠删码存储系统中的节点包括管理节点以及若干的校验节点和数据节点，若干的校验节点和数据节点的码元编号均存储在管理节点内部；/n所述方法包括以下步骤：/nS1：当管理节点检测到若干数据节点失效时，管理节点根据校验节点和数据节点的码元编号得到水平校验集和反对角校验集；/nS2：根据失效数据节点的码元编号，通过水平校验集和反对角校验集得到能够恢复失效数据节点的码元数据的校验集合；/nS3：根据校验集合确定每个正常节点的待读取码元编号集合，根据每个正常节点的待读取码元编号集合从对应节点中读取码元数据；/nS4：根据读取的码元数据和校验集合通过异或运...

【技术特征摘要】
1.一种纠删码存储系统数据快速恢复方法，其特征在于，所述纠删码存储系统中的节点包括管理节点以及若干的校验节点和数据节点，若干的校验节点和数据节点的码元编号均存储在管理节点内部；
所述方法包括以下步骤：
S1：当管理节点检测到若干数据节点失效时，管理节点根据校验节点和数据节点的码元编号得到水平校验集和反对角校验集；
S2：根据失效数据节点的码元编号，通过水平校验集和反对角校验集得到能够恢复失效数据节点的码元数据的校验集合；
S3：根据校验集合确定每个正常节点的待读取码元编号集合，根据每个正常节点的待读取码元编号集合从对应节点中读取码元数据；
S4：根据读取的码元数据和校验集合通过异或运算得到失效数据节点的失效码元数据；
S5：将失效数据节点的码元数据合并得到失效数据节点数据，将失效数据节点数据存储在正常的数据节点内，并采用该数据节点的码元编号更新失效数据节点在管理节点内部对应的码元编号。


2.根据权利要求1所述的纠删码存储系统数据快速恢复方法，其特征在于，所述纠删码存储系统为通过以下步骤得到的纠删码存储系统：
T1：将待存储数据对象采用LiberationCodes(k,p)纠删码，其中p为大于2的素数，k＝p；通过纠删码编码算法进行编码，得到水平校验块、反对角校验块和p个数据块；将水平校验块和反对角校验块分别存储在不同的校验节点，将p个数据块分别存储在不同的数据节点；水平校验块、反对角校验块和数据块均包括p个码元；
T2：将水平校验块、反对角校验块和数据块内部码元的码元编号均存储在管理节点，码元编号包括码元所在节点的节点编号和码元在所在节点的编号。


3.根据权利要求2所述的纠删码存储系统数据快速恢复方法，其特征在于，所述T1中通过纠删码编码算法进行编码，得到水平校验块、反对角校验块和p个数据块的具体方法为：
T1-1：将待存储数据对象分为p个数据块，记作D0,D1,…,Dp-1，分别存储在数据节点0～数据节点p-1；
T1-2：通过式(1)得到水平校验块的码元di,p：



将p个水平校验码元di,p合并得到水平校验块C0，将水平校验块C0存储在校验节点p；
T1-3：通过式(2)得到反对角校验块的码元di,p+1：



其中，＜x＞p表示对x进行模p运算，取值范围为[0，p-1]；将p个反对角校验码元di,p+1合并得到反对角校验块C1，将反对角校验块C1存储在校验节点p+1；
di,j表示为第j个节点中的码元编号为i的码元，0≤i≤p-1，0≤j≤p+1。


4.根据权利要求3所述的纠删码存储系统数据快速恢复方法，其特征在于，所...

【专利技术属性】
技术研发人员：张兴军，梁宁静，郑晧元，董小社，武旭瑞，赵英交，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61