基于再生码的分布式存储系统与处理方法技术方案

本申请公开了一种基于再生码的分布式存储系统，其特征在于编码数据传输至各节点后，可扩展至指定的节点，所述的基于再生码的分布式存储系统包括数据源端与多个存储节点。数据源端具有控制模块与编码器，控制模块对接收的输入数据组切分成多个数据分块，数据分块通过编码器时，编码器根据编码向量输出子数据条带，且编码向量彼此为非线性相关；数据源端根据编码向量派送不同的子数据条带至对应的存储节点；数据源端接收节点扩展命令用于扩展所指定的存储节点，数据源端任意选取至少两个存储节点，数据源端根据所选取的子数据条带与所属的编码向量进行线性组合，并输出扩展节点。

Distributed storage system and processing method based on regenerative code

The invention discloses a distributed storage system based on code regeneration, which is characterized in that the encoding data to each node, can be extended to the specified node, the distributed storage system includes a data source code regeneration and multiple storage nodes based on the. The data source with the control module and the control module of the encoder, the input data received by the group cut into a plurality of data block data block by the encoder, the encoder according to the output data vector encoding sub bands, and the encoding vector for each data source nonlinear correlation; according to the data encoding vector delivery different bands to the corresponding storage node; data source node extended command storage nodes for extending the specified data source, randomly selected at least two storage nodes, data source according to the data of selected bands were linearly combined with the vector encoding, and output node expansion.

【技术实现步骤摘要】
基于再生码的分布式存储系统与处理方法
本申请涉及数据存储系统与处理方法，具体涉及一种基于再生码的分布式存储系统与处理方法。
技术介绍
分布式存储系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。在传统分布式存储系统中为提高系统可靠性，因此采用再生码(RegeneratingCodes)的数据恢复。再生码是一种基于纠错码理论的分支。透过网络在数据传输过程中发生错误后，数据接收端能透过纠错码自行发现错误或纠正。再生码的修复过程中，新节点需要在剩下的存储节点中连接d个存储节点并分别从这d个存储节点中下载P大小的数据，所以再生码的修复带宽为d*P。同时给出了再生码功能修复的模型并提出了再生码的两类最佳码:最小带宽再生码(MSR,Minimum-StorageRegenerating)和最小修复带宽再生码(MBR,本文档来自技高网...

【技术保护点】
一种基于再生码的分布式存储系统，其特征在于编码数据传输至各节点后，可扩展至指定的节点，所述的基于再生码的分布式存储系统包括：一数据源端，具有一控制模块与一编码器，该控制模块对接收的一输入数据组切分成多个数据分块，该些数据分块通过该编码器时，该编码器根据一编码向量输出一子数据条带，且该些编码向量彼此为非线性相关；以及多个存储节点，该些存储节点网络连接于该数据源端，该数据源端根据该些编码向量派送不同的该子数据条带至对应的该存储节点；其中，该数据源端接收一节点扩展命令用于扩展所指定的该存储节点，该数据源端任意选取至少两个该存储节点，该数据源端根据所选取的该些子数据条带与所属的该些编码向量进行线性组合...

【技术特征摘要】
1.一种基于再生码的分布式存储系统，其特征在于编码数据传输至各节点后，可扩展至指定的节点，所述的基于再生码的分布式存储系统包括：一数据源端，具有一控制模块与一编码器，该控制模块对接收的一输入数据组切分成多个数据分块，该些数据分块通过该编码器时，该编码器根据一编码向量输出一子数据条带，且该些编码向量彼此为非线性相关；以及多个存储节点，该些存储节点网络连接于该数据源端，该数据源端根据该些编码向量派送不同的该子数据条带至对应的该存储节点；其中，该数据源端接收一节点扩展命令用于扩展所指定的该存储节点，该数据源端任意选取至少两个该存储节点，该数据源端根据所选取的该些子数据条带与所属的该些编码向量进行线性组合，并输出一扩展节点。2.如权利要求1所述之基于再生码的分布式存储系统，其特征在于该些子数据条带用于组成一主数据条带(striping)，该子数据条带包括至少一数据分块。3.如权利要求1所述之基于再生码的分布式存储系统，其特征在于该编码器记录一编码向量矩阵，该编码向量矩阵包括多个该编码向量，该编码器由该编码向量矩阵中选择任一该编码向量。4.如权利要求1所述之基于再生码的分布式存储系统，其特征在于该存储节点为硬盘、固态硬盘或闪存。5.如权利要求1所述之基于再生码的分布式存储系统，其特征在于包括一数据收集端，该数据收集端网路连接于该数据源端与该些存储节点...

【专利技术属性】
技术研发人员：阚海滨，刘炜，
申请(专利权)人：上海云熵网络科技有限公司，
类型：发明
国别省市：上海,31