多容错性的MDS阵列码编码以及修复方法技术

本发明专利技术涉及数据处理领域，其公开了多容错性的MDS阵列码编码，其组成部分为C（k，3，p）码，将数据块表示成k（p‑1）τ信息位并编码产生3(p‑1)τ个冗余位，（p‑1）τ为正整数，τ=2

Multi fault tolerant MDS array code coding and repairing method

The present invention relates to the field of data processing, which discloses a fault-tolerant MDS array code encoding, the part of C (k, 3, P) code, the data blocks are expressed as K (p 1) encoding 3 bits of information and tau tau (p 1) redundant, P (1) which is a positive integer, =2

【技术实现步骤摘要】
多容错性的MDS阵列码编码以及修复方法
本专利技术涉及数据处理领域，尤其涉及一种多容错性的MDS阵列码编码以及修复方法。
技术介绍
现代分布式存储系统利用纠删码来维持数据可用性，以避免存储节点的失效。二进制最大距离可分(MDS)阵列码是一种特殊的纠删码，其凭借最小存储冗余和较低计算复杂度实现容错性。具体来说，二进制阵列码由k+r列的阵列组成，每列具有L位，对于所述的k+r列，其中的k列信息列存储信息位，而r列奇偶校验列存储冗余位。每列中的L位存储在相同的存储节点中。如果k+r列中的任何k足以重建所有的k列信息列，那么这种码就可以称之为MDS(即其可容许任何r列失效)。二进制MDS阵列码的例子包括：X码[1]和RDP码[2]，两者均为双容错型(即r＝2)；还有STAR码[3]、普遍化的RDP码[4]以及TIP码，三者都是三容错型(即r＝3)。当分布式存储系统中的一个节点失效时，应该通过从未失效节点d下载位元来修复失效的列，其中k≤d≤k+r-1。将修复带宽定义为修复运算中的下载位数。尽可能降低修复带宽对于加快修复运算和最小化脆弱之窗至关重要，尤其在网络传输常常成为瓶颈的分布式存储系统中更是如此。修复问题由Dimakis等人[5]基于信息流图首次阐述和研究。如[5]中所阐述，最小修复带宽受制于最小存储冗余，其也被称为最小存储再生(MSR)点，其计算公式如下：此时d＝k+1。虽然在足够大的有限域中最小修复带宽是可实现的[5]、[6]，但如何构造实现最小修复带宽的二进制MDS阵列码依然是一个极富挑战性的问题。目前已有不少研究着眼于减少二进制MDS阵列码中的单个失效列的修复带宽。有些方法将RDP码[7]和X码[8]的磁盘读取尽可能降至最小，但其修复带宽只能算是次优，依然比(1)中的最小值要大50％。MDR码[9]、[10]和ButterFly码[11]为二进制MDS阵列码，其实现了最优修复，但它们只提供双容错性(即r＝2)。如何构造兼具最优修复和更高容错性(即r>2)的二进制MDS阵列码依然是一个尚待解决的问题。此类构造将会有利于维持现实中故障频发之分布式存储系统中的数据可用性。
技术实现思路
为了解决现有技术中的问题，本专利技术提供了一种多容错性的MDS阵列码编码以及修复方法，解决现有技术中无法兼具最优修复和更高容错性的问题。本专利技术是通过以下技术方案实现的：设计、制造了一种多容错性的MDS阵列码编码，其组成部分为C(k,3,p)码，将数据块分成k(p-1)τ信息位并编码产生3(p-1)τ个冗余位，(p-1)τ为正整数，τ＝2k-2，p为素数，k≥3，信息位表示为冗余位表示为其中j为k+1、k+2和k+3，i＝1,2,…,k；每个(p-1)τ信息位附加τ额外位并形成消息向量。作为本专利技术的进一步改进：将信息列通过多项式进行表示，对应的每一信息列为数据多项式，其对应的三个奇偶校验列形成已编码多项式，数据多项式和已编码多项式形成列向量[s1(x),s2(x),…,sk+3(x)]。作为本专利技术的进一步改进：所述列向量通过Rpτ：＝F2[x]/(1+xpτ)中所体现的算法取[s1(x),s2(x),…,sk+3(x)]＝[s1(x),s2(x),…,sk(x)].G的积来进行计算,其中G为由kxk单位矩阵I和一个kx3编码矩阵P所组成的kx(k+3)生成矩阵。作为本专利技术的进一步改进：C(k,3,p)码为在Rpτ内穿入一个系统化线性码。本专利技术同时提供了一种多容错性的MDS阵列码的修复方法，包括如下步骤：获取已经失效的信息列；若已经失效的信息列则通过第一奇偶校验来修复信息位sl,f，其中lmod2f∈{0,1,2,...2f-1-1}，否则通过第二个奇偶校验来修复信息位sl，f，其中lmod2f∈{2f-1，2f-1+1，2f-1+2，...，2f-1}；若已经失效的信息列通过第一个奇偶校验来修复信息位sl，f，其中lmod2f∈{0，1，2，...2f-1-1}，否则，通过第三个奇偶校验来修复信息位sl，f，其中lmod2f∈{2f-1，2f-1+1，2f-1+2，...，2f-1}。作为本专利技术的进一步改进：已经失效的信息列的修复宽带为(p-1)((k+2)2k-3-2k-f-2)。作为本专利技术的进一步改进：第二奇偶校验列和第三奇偶校验列的奇偶校验集不是对应于阵列中呈直线的那些信息列，而是对应于呈折线的那些信息列；阵列的行数被2k-2整除。本专利技术的有益效果是：提高了系统的容错性；编解码过程的计算复杂度更低，极大的减少了修复宽带。【附图说明】图1为本专利技术三奇偶校验列所用存储码的实施例示意图。【具体实施方式】下面结合附图说明及具体实施方式对本专利技术进一步说明。缩略语和关键术语定义MDSMaximumDistanceSeparable最大距离可分离RDPRow-DiagonalParity行对角线校验一种多容错性的MDS阵列码编码，其组成部分为C(k，3，p)码，将数据块分成k(p-1)τ信息位并编码产生3(p-1)τ个冗余位，(p-1)τ为正整数，τ＝2k-2，p为素数，k≥3，信息位表示为冗余位表示为其中j为k+1、k+2和k+3，i＝1，2，…，k；每个(p-1)τ信息位附加τ额外位并形成消息向量。将信息列通过多项式进行表示，对应的每一信息列为数据多项式，其对应的三个奇偶校验列形成已编码多项式，数据多项式和已编码多项式形成列向量[s1(x)，s2(x)，…，sk+3(x)]。所述列向量通过Rpτ：＝F2[x]/(1+xpτ)中所体现的算法取[s1(x)，s2(x)，…，sk+s(x)]＝[s1(x)，s2(x)，…，sk(x)].G的积来进行计算，其中G为由kxk单位矩阵I和一个kx3编码矩阵P所组成的kx(k+3)生成矩阵。C(k，3，p)码为在Rpτ内穿入一个系统化线性码。本专利技术同时提供了一种多容错性的MDS阵列码的修复方法，包括如下步骤：获取已经失效的信息列；若已经失效的信息列则通过第一奇偶校验来修复信息位sl，f，其中lmod2f∈{0，1，2，...2f-1-1}，否则通过第二个奇偶校验来修复信息位sl，f，其中lmod2f∈{2f-1，2f-1+1，2f-1+2，...，2f-1}；若已经失效的信息列通过第一个奇偶校验来修复信息位sl，f，其中lmod2f∈{0，1，2，...2f-1-1}，否则，通过第三个奇偶校验来修复信息位sl，f，其中lmod2f∈{2f-1，2f-1+1，2f-1+2，...，2f-1}。已经失效的信息列的修复宽带为(p-1)((k+2)2k-3-2k-f-2)。第二奇偶校验列和第三奇偶校验列的奇偶校验集不是对应于阵列中呈直线的那些信息列，而是对应于呈折线的那些信息列；阵列的行数被2k-2整除。在一实施例中，多容错性的MDS阵列码的构造如下：令k≥3且L＝(p-1)τ为正整数，其中τ＝2k-2，而p为素数且2为Zp域中的基元。考虑一个文档大小为k(p-1)τ比特，由信息位表示(i＝1，2，…，k)，其可用于生成3(p-1)τ冗余位(j＝k+1，k+2，k+3)。对于1＝1，2，…，k+3及μ＝0，1，…τ-1，定义如下速记表示法：称为额外比特，其与相关。例如，当p＝3，本文档来自技高网...

【技术保护点】
一种多容错性的MDS阵列码编码，其特征在于：其组成部分为C(k,3,p)码，将数据块表示成k(p‑1)τ信息位并编码产生3(p‑1)τ个冗余位，(p‑1)τ为正整数，τ＝2

【技术特征摘要】
1.一种多容错性的MDS阵列码编码，其特征在于：其组成部分为C(k,3,p)码，将数据块表示成k(p-1)τ信息位并编码产生3(p-1)τ个冗余位，(p-1)τ为正整数，τ＝2k-2，p为素数，k≥3，信息位表示为冗余位表示为其中j为k+1、k+2和k+3，i＝1,2,…,k；每个(p-1)τ信息位附加τ额外位并形成消息向量。2.根据权利要求1所述的多容错性的MDS阵列码编码，其特征在于：将信息列通过多项式进行表示，对应的每一信息列为数据多项式，其对应的三个奇偶校验列形成已编码多项式，数据多项式和已编码多项式形成列向量[s1(x),s2(x),…,sk+3(x)]。3.根据权利要求1所述的多容错性的MDS阵列码编码，其特征在于：所述列向量通过Rpτ：＝F2[x]/(1+xpτ)中所体现的算法取[s1(x),s2(x),…,sk+3(x)]＝[s1(x),s2(x),…,sk(x)].G的积来进行计算,其中G为由kxk单位矩阵I和一个kx3编码矩阵P所组成的kx(k+3)生成矩阵。4.根据权利要求1...

【专利技术属性】
技术研发人员：侯韩旭，李柏晴，韩永祥，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：广东,44