一种减小存储开销和提高修复效率的节点修复方法及系统技术方案

本发明专利技术适用于分布式存储技术改进领域，提供了一种减小存储开销和提高修复效率的节点修复方法，所述节点修复方法包括以下步骤：在piggyback编码框架上对（n，k）码将系统节点分组并定义系统向量和编码矩阵；S2、将定义的编码矩阵代入编码结构中获取相应的编码方式；S3、根据编码方式通过zigzag解码对受损节点进行修复在分布式存储系统中。根据其特殊的编码方式，使设计的码既满足MDS性质，存储开销又比较小。在实际操作过程中，通过zigzag解码，能够有效地降低解码的复杂度低，同时又提高了节点修复效率。

【技术实现步骤摘要】
一种减小存储开销和提高修复效率的节点修复方法及系统
本专利技术属于分布式存储技术改进领域，尤其涉及一种减小存储开销和提高修复效率的节点修复方法及系统。
技术介绍
在大型的分布式存储系统中，我们能存储和分析大规模的数据，然而在日常操作过程中，系统中的节点存在各种故障，例如：因磁盘损坏或者断线导致的数据丢失。因此，确保系统中节点的可靠性和可用性就显的尤为重要。1.传统的分布式存储系统中，存储数据常常采用重复策略。即通过复制多个数据副本并存储在系统中的节点上。当有数据损坏需要进行数据恢复时，只需要找到对应的节点中所存储的数据，即可恢复。2.近年来，相关学者提出了一种基于纠删码的冗余策略，通过增加冗余来减小存储开销，同时保证节点在修复时数据的可靠性。其编码方式是：将原始的数据等分成k个原始数据包，然后将这k个原始数据包映射成n(n≥k)个编码数据包，任取k个编码数据包都可以恢复出k个原始数据包。其中最典型的Reed-solomoncodes(RS码)已经广泛的应用在现代数字通信、分布式存储系统中。重复制的存储方式：虽然这样可以保证了数据的高度可靠性。但是产生大量的冗余数据，加重了服务器的负担，并且节点的利用率不高，容易造成资源的浪费。此外，随着数据的爆炸性增长，存储开销也会呈指数型增加。传统的(n，k)码的一般具有编码或者解码的复杂度高，存储开销大等缺点，而且在节点修复的过程中，通常需要读取和下载所选取的修复节点中的全部数据。例如传统的(8，4)码中，假设每个节点中存储两个编码数据包，这8个节点中任意一个节点损坏，都需要在剩余节点中任取4个节点才能修复损坏的节点。在修复过程中，需要读取和下载8个编码数据包。在实际操作过程中，这样的译码方式不仅加重了网络带宽的负担，容易损坏磁盘，而且在修复过程中还过多的占用了系统的I/O口资源。导致扩展性能不佳。
技术实现思路
本专利技术的目的在于提供一种减小存储开销和提高修复效率的节点修复方法及系统，旨在解决上述的技术问题。本专利技术是这样实现的，一种减小存储开销和提高修复效率的节点修复方法，所述节点修复方法包括以下步骤：S1、在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1a2…ak}T，b＝{b1b2…bk}T，c＝{c1c2…ck}T，d＝{d1d2…dk}T；当r-1为奇数时，编码矩阵P为：当r-1为偶数时，编码矩阵P为：当r-1为奇数或偶数时，编码矩阵Q为：S2、将定义的编码矩阵代入编码结构中获取相应的编码方式；S3、根据编码方式通过zigzag解码对受损节点进行修复；其中，其中，k表示系统节点的个数，r表示奇偶校验节点的个数，n＝k+r，n表示总共节点个数，T代表向量的转置，表示向上取整。本专利技术的进一步技术方案是：所述步骤S1中在建立编码矩阵时通过移位生成存储开销，所述存储开销与奇偶校验节点和系统节点的个数有关，r越大，存储开销越大，k越大，存储开销越大，其中存储开销：本专利技术的进一步技术方案是：所述步骤S1中r大于等于2，k/r为整数；在编码矩阵P中通过对同一行行向量的元素进行一次正向和一次反向排列的方式减小存储开销。本专利技术的进一步技术方案是：所述步骤S3中受损节点修复包括系统节点修复和奇偶校验节点修复；所述系统节点修复时，故障节点时，修复系统节点需要m×(k+|S1|)个数据包修复故障节点；故障节点h∈Sr时，修复系统节点需要m×(k+|Sr|+r-2)个数据包修复故障节点，其中，m是任意的正整数。本专利技术的进一步技术方案是：所述奇偶校验节点修复时，(n，k)码满足CP-BZD性质，若第一个奇偶校验节点(Nodek+1)受损，需从剩余的n-1个节点中任取k个节点，每个节点存储2m个数据包，修复第一个奇偶校验节点需要2mk个数据包；若修复其他奇偶校验节点L，L∈{k+2，…，k+r}，其修复与r和m的值相关，当r＝2时，从每个系统节点中下载存储顺序为奇数的数据包和每个系统节点中存储的最后一个数据包，还需读取和下载节点k+1的第3个、第5个，第2m-1个数据包修复受损节点；当r≥3时，从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，以及读取f1，f2∈{k+1，…，k+r}\L中存储顺序为偶数的数据包修复故障节点的所有信息位，其中，m是任意的正整数，f表示除去故障节点的其他奇偶校验节点。本专利技术的另一目的在于提供一种减小存储开销和提高修复效率的节点修复系统，所述节点修复系统包括：定义模块，用于在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1a2…ak}T，b＝{b1b2…bk}T，c＝{c1c2…ck}T，d＝{d1d2…dk}T；当r-1为奇数时，编码矩阵P为：当r-1为偶数时，编码矩阵P为：当r-1为奇数或偶数时，编码矩阵Q为：编码方式获取模块，用于将定义的编码矩阵代入编码结构中获取相应的编码方式；节点修复模块，用于根据编码方式通过zigzag解码对受损节点进行修复；其中，其中，k表示系统节点的个数，r表示奇偶校验节点的个数，n＝k+r，n表示总共节点个数，T代表向量的转置，表示向上取整。本专利技术的进一步技术方案是：所述定义模块中在建立编码矩阵时通过移位生成存储开销，所述存储开销与奇偶校验节点和系统节点的个数有关，r越大，存储开销越大，k越大，存储开销越大，其中存储开销：本专利技术的进一步技术方案是：所述定义模块中r大于等于2，k/r为整数；在编码矩阵P中通过对同一行行向量的元素进行一次正向和一次反向排列的方式减小存储开销。本专利技术的进一步技术方案是：所述节点修复模块中受损节点修复包括系统节点修复和奇偶校验节点修复；所述系统节点修复时，故障节点时，修复系统节点需要m×(k+|S1|)个数据包修复故障节点；故障节点h∈Sr时，修复系统节点需要m×(k+|Sr|+r-2)个数据包修复故障节点，其中，m是任意的正整数。本专利技术的进一步技术方案是：所述奇偶校验节点修复时，(n，k)码满足CP-BZD性质，若第一个奇偶校验节点(Nodek+1)受损，需从剩余的n-1个节点中任取k个节点，每个节点存储2m个数据包，修复第一个奇偶校验节点需要2mk个数据包；若修复其他奇偶校验节点L，L∈{k+2，…，k+r}，其修复与r和m的值相关，当r＝2时，从每个系统节点中下载存储顺序为奇数的数据包和每个系统节点中存储的最后一个数据包，还需读取和下载节点k+1的第3个、第5个，第2m-1个数据包修复受损节点；当r≥3时，从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，以及读取f1，f2∈{k+1，…，k+r}\L中存储顺序为偶数的数据包修复故障节点的所有信息位，其中，m是任意的正整数，f表示除去故障节点的其他奇偶校验节点。本专利技术的有益效果是：在分布式存储系统中，根据其特殊的编码方式，使设计的码既满足MDS性质，存储开销又比较小。在实际操作过程中，通过zigzag解码，能够有效地降低解码的复杂度低，同时又提高了节点修复效率。附图说明图1是本专利技术实施例提供的减小存储开销和本文档来自技高网...

【技术保护点】
1.一种减小存储开销和提高修复效率的节点修复方法，其特征在于，所述节点修复方法包括以下步骤：S1、在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1 a2 … ak}T，b＝{b1 b2 … bk}T，c＝{c1 c2 … ck}T，d＝{d1 d2 … dk}T；当r‑1为奇数时，编码矩阵P为：

【技术特征摘要】
1.一种减小存储开销和提高修复效率的节点修复方法，其特征在于，所述节点修复方法包括以下步骤：S1、在piggyback编码框架上对(n，k)码将系统节点分组并定义系统向量和编码矩阵，定义系统向量：a＝{a1a2…ak}T，b＝{b1b2…bk}T，c＝{c1c2…ck}T，d＝{d1d2…dk}T；当r-1为奇数时，编码矩阵P为：当r-1为偶数时，编码矩阵P为：当r-1为奇数或偶数时，编码矩阵Q为：S2、将定义的编码矩阵代入编码结构中获取相应的编码方式；S3、根据编码方式通过zigzag解码对受损节点进行修复；其中，k表示系统节点的个数，r表示奇偶校验节点的个数，n＝k+r，n表示总共节点个数，T代表向量的转置，表示向上取整。2.根据权利要求1所述的减小存储开销和提高修复效率的节点修复方法，其特征在于，所述步骤S1中在建立编码矩阵时通过移位生成存储开销，所述存储开销与奇偶校验节点和系统节点的个数有关，r越大，存储开销越大，k越大，存储开销越大，其中存储开销：3.根据权利要求2所述的减小存储开销和提高修复效率的节点修复方法，其特征在于，所述步骤S1中r大于等于2，k/r为整数；在编码矩阵P中通过对同一行行向量的元素进行一次正向和一次反向排列的方式减小存储开销。4.根据权利要求3所述的减小存储开销和提高修复效率的节点修复方法，其特征在于，所述步骤S3中受损节点修复包括系统节点修复和奇偶校验节点修复；所述系统节点修复时，故障节点时，修复系统节点需要m×(k+|S1|)个数据包修复故障节点；故障节点h∈Sr时，修复系统节点需要m×(k+|Sr|+r-2)个数据包修复故障节点，其中，m是任意的正整数。5.根据权利要求3所述的减小存储开销和提高修复效率的节点修复方法，其特征在于，所述奇偶校验节点修复时，(n，k)码满足CP-BZD性质，若第一个奇偶校验节点(Nodek+1)受损，需从剩余的n-1个节点中任取k个节点，每个节点存储2m个数据包，修复第一个奇偶校验节点需要2mk个数据包；若修复其他奇偶校验节点L，L∈{k+2，…，k+r}，其修复与r和m的值相关，当r＝2时，从每个系统节点中下载存储顺序为奇数的数据包和每个系统节点中存储的最后一个数据包，还需读取和下载节点k+1的第3个、第5个，第2m-1个数据包修复受损节点；当r≥3时，从每个系统节点中下载存储顺序为奇数的数据包{qi}，i＝{1，…，k}和每个系统节点中存储的最后一个数据包，以及读取f1，f2∈{k+1，…，k+r}\L中存储顺序为偶数的数据包修复故障节点的所有信息位，其中，m是任意的正整数，f表示除去故障节点的其他奇偶校验节点。6.一种减小存储开销...

【专利技术属性】
技术研发人员：代明军，王霞，王晖，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44