基于低修复带宽的云存储系统及方法技术方案

本发明专利技术提供了一种基于低修复带宽的云存储系统，包括数据插入和读取模块、编码预处理模块、数据文件编码模块、数据文件解码模块、数据文件管理模块、数据存储模块以及数据修复模块；同时提供了一种基于低修复带宽的云存储方法，包括系统初始化阶段、用户插入数据阶段、数据文件编码阶段、用户读取数据阶段、数据文件解码阶段以及故障节点的修复阶段；本发明专利技术通过引入纠删码技术，在保证数据存储可靠性的同时降低数据存储的冗余度；针对故障节点修复过程带来的网络阻塞问题，采用了网络编码和干扰对其技术，引入了互信息量的解决方案。具有数据存储的可靠性性易于保证，同时缓解了故障节点修复过程中网络的拥塞程度。

Cloud storage system and method based on low repair bandwidth

The invention provides a cloud storage system based on low bandwidth repair, including data insertion and reading module, preprocessing module, encoding module, data file data file encoding and decoding module, data file management module, data storage module and data repair module; at the same time provides a cloud storage method based on low bandwidth repair, including system initialization phase, the user inserts the data phase, data file encoding stage, the user reads the data phase, data file decoding stage and fault node repair stage; the invention uses erasure code technology, in ensuring the redundant data storage reliability while reducing data storage; fault node repair process caused by network congestion the problem, using the network encoding and interference on the technical solution introduced the mutual information. The reliability of the data storage is easy to be guaranteed, and it also alleviates the network congestion in the repair process of the fault node.

【技术实现步骤摘要】
基于低修复带宽的云存储系统及方法
本专利技术属于数据存储领域，具体是通过数据编码来增强存储可靠性的基于低修复带宽的云存储系统及方法，用于降低节点发生故障时产生的修复带宽。
技术介绍
近年来，随着互联网技术日新月异的快速发展，以及整个信息行业的发展，无论是个人信息还是企业数据都在爆炸式的增长。因此目前有越来越多的厂商推出了云存储服务。云存储服务允许用户远程存储数据并且方便地分享这些信息。尽管云存储给用户带来了巨大的便利，但是存在一个关键的问题是如何降低故障节点的修复带宽，缓解节点修复过程中网络的阻塞状况。为了降低数据存储成本，云服务商采用纠删码技术来降低数据存储的冗余度。纠删码的工作原理，用户的原始数据被平分成k个文件块，通过线性编码生成n块编码数据，然后存储在n个不同的节点，接收端通过获取k(k′≥k)个可用的编码数据，就可以重构出原始数据。对于MDS码，k′＝k。因此，MDS码是一类存储效率非常高的编码方案。通过引入纠删码技术，存储成本得到了有效控制。MDS代码在冗余和可靠性权衡方面是最优的。当节点发生故障时，传统的修复方案是将k个节点的内容发送到新节点。新节点可以重建所有原始数据本文档来自技高网...

【技术保护点】
一种基于低修复带宽的云存储系统，其特征在于，包括数据插入和读取模块、编码预处理模块、数据文件编码模块、数据文件解码模块、数据文件管理模块、数据存储模块以及数据修复模块；其中：所述数据插入和读取模块工作于客户端，用于向用户提供访问接口，以使用户能够向主服务器发送插入、读取以及删除数据命令；所述编码预处理模块工作于主服务器上，用于对原始数据进行数据预处理；所述数据文件编码模块工作于主服务器上，用于对预处理后的数据进行编码，产生数据插入；所述数据文件解码模块工作于主服务器上，用于对插入的数据进行数据解码重构，产生数据读取；所述数据文件管理模块工作于主服务器上，用于存储原始数据的元数据；所述数据存储模...

【技术特征摘要】
1.一种基于低修复带宽的云存储系统，其特征在于，包括数据插入和读取模块、编码预处理模块、数据文件编码模块、数据文件解码模块、数据文件管理模块、数据存储模块以及数据修复模块；其中：所述数据插入和读取模块工作于客户端，用于向用户提供访问接口，以使用户能够向主服务器发送插入、读取以及删除数据命令；所述编码预处理模块工作于主服务器上，用于对原始数据进行数据预处理；所述数据文件编码模块工作于主服务器上，用于对预处理后的数据进行编码，产生数据插入；所述数据文件解码模块工作于主服务器上，用于对插入的数据进行数据解码重构，产生数据读取；所述数据文件管理模块工作于主服务器上，用于存储原始数据的元数据；所述数据存储模块工作于存储服务器，包括多个存储节点，其中一部分存储节点用于存储未经编码的原始数据，另一部分存储节点用于存储编码后的冗余数据；所述数据修复模块工作于候补存储服务器，用于数据存储模块上故障节点的数据修复。2.根据权利要求1所述的基于低修复带宽的云存储系统，其特征在于，所述数据预处理包括：对希望插入的原始数据进行均等分片，当出现不能均等分片时，插入冗余数据进行对齐。3.根据权利要求1所述的基于低修复带宽的云存储系统，其特征在于，所述数据插入包括：通过异或运算将预处理后的数据进行高速编码运算，然后将编码后的数据分发到数据存储模块的各个存储节点上进行存储。4.根据权利要求1所述的基于低修复带宽的云存储系统，其特征在于，所述数据读取包括：对从数据存储模块的各个存储节点读取出的数据进行解码，得到编码前的数据，对编码前的数据去掉用于对齐的冗余数据，得到重构后的原始数据，并将重构后的原始数据发送给客户端。5.根据权利要求1所述的基于低修复带宽的云存储系统，其特征在于，所述数据存储模块采用纠删码技术保证数据存储可靠性。6.根据权利要求1所述的基于低修复带宽的云存储系统，其特征在于，所述数据修复模块包括：-修复策略制定模块，根据数据存储模块的故障节点及存活节点集合决定故障节点的修复策...

【专利技术属性】
技术研发人员：骆源，徐亚宁，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31