一种降低带宽消耗的截短再生码构造方法技术

本发明专利技术涉及一种降低带宽消耗的截短再生码构造方法，该方法在参数为(n,k)母码基础上，删除t个信息位，得到(n‑t,k‑t)的截短子码，添加冗余令并将编码后t个节点保存数据均为0，求解出冗余量的数值；译码和修复时，对连接的节点所对应的系数向量构成的矩阵补充上t个截短节点的系数向量，构成新的k×d系数矩阵，将从节点中下载的数据所构成的编码矩阵补充t行零向量，形成新的编码矩阵，将补齐后系数矩阵和接受的数据矩阵按照MSR母码的进行译码或者修复。本发明专利技术降低了截短再生码的计算复杂度，解决了当网络节点和带宽资源受限时再生码参数选择的较少，适应能力较差的问题，从而实现了低复杂度、低带宽开销的再生码构造。

A truncated reproducing code construction method for reducing bandwidth consumption

The invention relates to a method for constructing truncated regenerative codes to reduce bandwidth consumption. The method deletes T information bits and obtains truncated subcodes (n_t, k_t) based on the (n, k_t) master codes, adds redundant commands and saves the data of all t nodes after coding to 0, and solves the value of redundancy. The matrix composed of the corresponding coefficient vectors of nodes is supplemented by the coefficient vectors of T truncated nodes to form a new k*d coefficient matrix. The coding matrix composed of the data downloaded from the nodes is supplemented by the zero vectors of T rows to form a new coding matrix. The complemented coefficient matrix and the received data matrix are carried out according to the MSR parent code. Decoding or repairing. The invention reduces the computational complexity of truncated regenerative codes, solves the problems of less selection of regenerative code parameters and poor adaptability when network nodes and bandwidth resources are limited, and thus realizes the construction of regenerative codes with low complexity and bandwidth overhead.

【技术实现步骤摘要】
一种降低带宽消耗的截短再生码构造方法
本专利技术涉及分布式存储
，尤其涉及一种降低带宽消耗的截短再生码构造方法。
技术介绍
随着互联网的迅猛发展，大数据时代的到来，5G移动通信的快速推进，全球数据流量呈现爆炸式增长，对系统的数据存储能力提出了更高的要求。与传统集中式存储系统相比，分布式存储系统具有成本低，存储容量大，拓展性强，并行处理速度快等优势，逐渐受到了学术和产业界的广泛关注。为保证系统整体可靠性和稳定性，分布式存储系统普遍采用冗余策略，GFS(GoogleFileSystem)等分布式系统采用复制方案，OceanStore等系统采用纠删编码，但仍然无法避免存储资源浪费和带宽开销过大等问题，严重影响系统工作效率。网络编码通过将中间节点赋予了计算能力，对数据进行编码操作，提升了整个系统的带宽利用率和吞吐率。Dimakis等人在网络编码的基础上提出了再生码(RegeneratingCodes)，达到了存储-带宽开销折衷最优解。但是，在复杂网络条件下，尤其是带宽资源受限时，再生码的适应能力较差，进一步降低再生码对带宽资源的需求是亟需解决的问题。Rashmi等人提出了基于乘积矩阵(Product-Matrix)框架下的MBR和MSR的构造方式，虽然能够实现任意参数MBR码的构造，但是对MSR仍然存在着不少限制。Goparaju等人基于干扰对齐思想提出了一种对任意n,k,d参数适用的MSR新的构造。Li等人提出了具有两个校验结构的基于不变子空间MSR通用框架，能够达到最少I/O读取。Kamath等人提出了一种局部再生码的构造，通过传统的MSR和MBR的改造实现局部修复特性。Papailiopoulos等人提出了简单再生码，通过MDS码与异或操作结合，是实现局部修复特性的再生码。Shah等人研究了再生码的安全性，在窃听者可以访问存储节点数据，并且能下载修复数据的场景下，实现了具有保密能力的再生码。通过上述分析可知，目前再生码的计算开销仍然较大，影响到数据下载和修复的时间开销，从而影响在实际系统中的工作效率。
技术实现思路
针对现有技术中存在的缺陷或不足，本专利技术所要解决的技术问题是：提供一种降低带宽消耗的截短再生码构造方法。技术方案为：一种降低带宽消耗的截短再生码构造方法，该方法在参数为(n,k)母码基础上，删除t个信息位，得到(n-t,k-t)的截短子码，添加冗余令并将编码后t个节点保存数据均为0，求解出冗余量的数值；译码和修复时，对连接的节点所对应的系数向量构成的矩阵补充上t个截短节点的系数向量，构成新的k×d系数矩阵，将从节点中下载的数据所构成的编码矩阵补充t行零向量，形成新的编码矩阵，将补齐后系数矩阵和接受的数据矩阵按照MSR母码的译码或者修复方式进行译码或者修复。作为本专利技术的进一步改进，该方法包括：(1)以参数(n,k,d)[α,γ,B]为MSR母码，截短t个节点后得到参数为(ns,ks,ds)[αs,γs,Bs]的截短子码，则MSR母码与截短子码参数间存在以下关系：(2)在乘积矩阵框架下，删除信息位t个节点并添加冗余后得到其中前α个数据为已知的冗余量，由两个α×α的对角矩阵构成的d×α的矩阵构造消息矩阵M为：(3)构造编码矩阵C＝Ψ·M，令C中前t行元素全部等于0，求解冗余量的数值，其中，Ψ是以范德蒙矩阵为系数矩阵。作为本专利技术的进一步改进，该方法的译码时，从连接任意ks个节点，对应节点系数向量构成ks×d系数矩阵，记为Ψs_DC，将Ψs_DC补上t个截短节点的系数向量构成新的k×d系数矩阵ΨDC。从ks个节点下载数据构成ks×d的编码矩阵Ψs_DCM，补充t行零向量，形成新的k×d编码矩阵ΨDCM。将补齐后的系数矩阵和补齐后的编码矩阵按照由乘积矩阵构成的MSR码的译码方式进行译码即可。译码具体的步骤包括：(1)数据收集器需要连接任意ks个节点，对应的节点系数向量构成ks×d系数矩阵Ψs_DC，将Ψs_DC补上t个截短节点的系数向量，构成新的k×d系数矩阵ΨDC，得：ΨDC＝[ΦDCΛDCΦDC]；从ks个节点下载数据构成ks×d的编码矩阵Ψs_DCM，对编码矩阵补充t行零向量，形成新的k×d编码矩阵ΨDCM，得：(2)将收集数据ΨDCM右乘表示为：P和Q为中间变量且均为对称矩阵，其中，(3)引入(i,j)矩阵元素，当i≠j时，由于对称矩阵(i,j)元素与(j,i)元素相同，即Pij+λiQij＝Pji+λjQji，解得i≠j情况下的Pi,j和Qi,j；在i＝j时，除第i个元素未知，其余均为已知，可以解出S1，以此方法同解出S2，完成译码。其中，φ均表示为ΦDC的列，即φi为矩阵ΦDC的第i列，以下均同。作为本专利技术的进一步改进，该方法修复时，连接ds个帮助节点，记为帮助节点系数向量构成ds×d系数矩阵，记为Ψs_repair，将Ψs_repair补上t个截短节点的系数向量构成新的d×d系数矩阵Ψrepair。从每个帮助节点下载β数据。构成ds×β的数据矩阵，补充t行零向量，形成新的d×β数据矩阵。将补齐后系数矩阵和接受的数据矩阵按照由乘积矩阵构造的MSR码的修复方式进行修复。修复具体的步骤包括：(1)将失效节点记为f，f的系数向量为计算丢失的数据为(2)连接ds个帮助节点，记为构成ds×d系数矩阵Ψs_repair，将Ψs_repair补上t个截短节点的系数向量构成新的d×d系数矩阵Ψrepair，得：(3)从每个帮助节点下载β数据，构成ds×β的数据矩阵，补充t行零向量，形成新的d×β数据矩阵，帮助节点数据与φf右乘，得到传输至新节点，新节点从ds个帮助节点接受数据ΨrepairMφf并左乘表示为：再通过转置即可修复丢失数据作为本专利技术的进一步改进，该方法应用于复杂度方面的开销时包括如下步骤：(1)定义本原多项式为g(z)的有限域GF(2w)中基础运算的异或次数，加法是按位异或，需要w次异或操作，乘法是多项式的相乘然后利用本原多项式g(z)降维，需要μw次异或，其中μ＝(w-1)+||g(z)||0；(2)定义求解方程Ax＝B，其中A为的n×n矩阵，未知数x为n×1矩阵，B为n×1矩阵，求解A-1需要次异或，未知数矩阵x由两个矩阵的乘积A-1B解出。作为本专利技术的进一步改进，该方法的编码过程分包括如下步骤：(1)由ta组方程解出ta个补齐的冗余量，转化为求解数学模型Ax＝B，其中A为的ta×ta矩阵，未知数x为ta×1矩阵，B为ta×1矩阵，则需要次异或操作；(2)将大小为(n+t)×(2k+2t-2)的系数矩阵与(2k+2t-2)×α的消息矩阵相乘，需要α(n+t)(2k+2t-2)次乘法和α(n+t)(2k+2t-3)次加法，每次乘法需要μw次异或，每次加法需要w次异或，进行α(n+t)w·[(2k+2t-2)μ+(2k+2t-3)]次异或后，平均到每一位原始数据，得到编码的异或次数为作为本专利技术的进一步改进，该方法的译码过程分包括如下步骤：(1)对系数矩阵和收集数据的补齐操作不涉及异或操作；(2)大小为(k+t)×α的数据右乘α×(k+t)的进行α(k+t)2次加法和(α-1)(k+t)2次乘法；(3)通过个形如Ax＝B的方程，其中A为2×2矩阵，可以解得P矩阵和Q矩阵中i≠j位置的元素本文档来自技高网...

【技术保护点】
1.一种降低带宽消耗的截短再生码构造方法，其特征在于，该方法在参数为(n,k)母码基础上，删除t个信息位，得到(n‑t,k‑t)的截短子码，添加冗余令并将编码后t个节点保存数据均为0，求解出冗余量的数值；译码和修复时，对连接的节点所对应的系数向量构成的矩阵补充上t个截短节点的系数向量，构成新的k×d系数矩阵，将从节点中下载的数据所构成的编码矩阵补充t行零向量，形成新的编码矩阵，将补齐后系数矩阵和接受的数据矩阵按照MSR母码的译码或者修复方式进行译码或者修复。

【技术特征摘要】
1.一种降低带宽消耗的截短再生码构造方法，其特征在于，该方法在参数为(n,k)母码基础上，删除t个信息位，得到(n-t,k-t)的截短子码，添加冗余令并将编码后t个节点保存数据均为0，求解出冗余量的数值；译码和修复时，对连接的节点所对应的系数向量构成的矩阵补充上t个截短节点的系数向量，构成新的k×d系数矩阵，将从节点中下载的数据所构成的编码矩阵补充t行零向量，形成新的编码矩阵，将补齐后系数矩阵和接受的数据矩阵按照MSR母码的译码或者修复方式进行译码或者修复。2.根据权利要求1所述的降低带宽消耗的截短再生码构造方法，其特征在于，该方法包括：(1)以参数(n,k,d)[α,γ,B]为MSR母码，截短t个节点后得到参数为(ns,ks,ds)[αs,γs,Bs]的截短子码，则MSR母码与截短子码参数间存在以下关系：(2)在乘积矩阵框架下，删除信息位t个节点并添加冗余后得到其中前α个数据为已知的冗余量，由两个α×α的对角矩阵构成的d×α的矩阵构造消息矩阵M为：(3)构造编码矩阵C＝Ψ·M，令C中前t行元素全部等于0，求解冗出余量的数值，其中，Ψ是以范德蒙矩阵为系数矩阵。3.根据权利要求2所述的降低带宽消耗的截短再生码构造方法，其特征在于，译码时，从连接任意ks个节点，对应节点系数向量构成ks×d系数矩阵，记为Ψs_DC，将Ψs_DC补上t个截短节点的系数向量构成新的k×d系数矩阵ΨDC，从ks个节点下载数据构成ks×d的编码矩阵Ψs_DCM，补充t行零向量，形成新的k×d编码矩阵ΨDCM，将补齐后的系数矩阵和补齐后的编码矩阵按照由乘积矩阵构成的MSR码的译码方式进行译码。4.根据权利要求3所述的降低带宽消耗的截短再生码构造方法，其特征在于，译码时的步骤包括：(1)数据收集器需要连接任意ks个节点，对应的节点系数向量构成ks×d系数矩阵Ψs_DC，将Ψs_DC补上t个截短节点的系数向量，构成新的k×d系数矩阵ΨDC，表示为：ΨDC＝[ΦDCΛDCΦDC]；从ks个节点下载数据构成ks×d的编码矩阵Ψs_DCM，对编码矩阵补充t行零向量，形成新的k×d编码矩阵ΨDCM，得：(2)将收集数据ΨDCM右乘得P和Q为中间变量且均为对称矩阵，其中，(3)引入(i,j)矩阵元素，当i≠j时，由于对称矩阵(i,j)元素与(j,i)元素相同，即Pij+λiQij＝Pji+λjQji，解得i≠j情况下的Pi,j和Qi,j；在i＝j时，除第i个元素未知，其余均为已知，可以解出S1，以此方法同解出S2，完成译码，其中，φ均表示为ΦDC的列，φi为矩阵ΦDC的第i列。5.根据权利要求2所述的降低带宽消耗的截短再生码构造方法，其特征在于，修复时，连接ds个帮助节点，记为帮助节点系数向量构成ds×d系数矩阵，记为Ψs_repair，将Ψs_repair补上t个截短节点的系数向量构成新的d×d系数矩阵Ψrepair，从每个帮助节点下载β数据，构成ds×β的数据矩阵，补充t行零向量，形成新的d×β数据矩阵，将补齐后系数矩阵和接受的数据矩阵按照由乘积矩...

【专利技术属性】
技术研发人员：何荣祥，顾术实，李月，李娟，张钦宇，王野，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东,44