【技术实现步骤摘要】
本专利技术属于分布式存储，具体涉及一种基于纠删码的泛在存储系统冗余存储方法及其系统。
技术介绍
1、近年来，随着互联网应用的快速普及与发展，使得数据信息呈现出爆发式的增长。数据的急剧膨胀，以及对于数据存储安全性、可靠性、隐私性要求的提高，也不断暴露出了传统存储系统的问题与弊端。以数据中心为代表的传统中心化存储方案为例，其依赖大量的存储服务器来提供数据的存储服务，造成用户数据存储的安全性与可靠性与服务器本身的稳定性以及数据中心的抗毁性高度关联，存储系统中的单点故障都会造成大量数据的不可用，甚至丢失；同时，随着大数据分析以及人工智能的发展与商用，用户个人数据中蕴含着巨大的商业价值，大量数据存储于“寡头”节点之上，完全无法保证用户个人数据不被非法窃取和使用。
2、为了解决上述问题，目前的学术界与科技行业提出了多种去中心化的存储系统与解决方案，其中具有代表性并且成功落地实现的包括：storj、maidsafe、ipfs等，这些去中心化存储系统都致力于解决传统中心化存储系统的问题，如单点故障、数据安全性和隐私等，通过分散存储和加密技术，提供更安全、可靠和灵活的数据存储解决方案。然而，去中心化的存储模式下的存储节点分散于不同地域，相比于数据中心内的存储服务器，去中心化的存储节点更难监控与维护，进而影响存储节点的稳定性。因此，若要永久、安全、可靠的存储数据，就需要采取合适的数据容错技术来保障数据存储的安全性和可用性。
3、实际应用中，大多数的存储系统都是采用多副本备份的方式来保障数据的安全性和可用性，然而，这种方式往往
4、中国专利申请号202210936132.x公开了一种基于ipfs的文件分片备份方法：首先将源文件编码，然后对编码文件进行切割，最后将切割后的数据块分散存储于不同的存储节点之上，通过这种方法解决数据信息被窥探的问题。该方法虽然能够提高数据的安全性和隐私性，但是对于稳定性较差的去中心化存储系统来说，一旦发生数据丢失，数据修复将会导致额外的通信、计算开销，同时数据的修复时间也会增加，难以实际应用于去中心化存储系统之中。
技术实现思路
1、基于本领域的上述现状，本专利技术旨在实现存储网络内节点不稳定情况下，以数据可靠存储与高效修复的目标，提供一种去中心化存储中的数据冗余方案，该方案采用rs纠删码编解码与数据交织技术，配合集群虚拟化技术实现安全、可靠、高效的数据冗余存储与修复方案，与现有常规的多副本备份以及纠删码方案相比，极大的减少了存储空间占用以及修复所需带宽，同时提高了修复效率以及数据安全性。
2、本专利技术采取如下技术方案
3、基于纠删码的去中心化数据冗余存储方法，其具体步骤如下：
4、s1.对文件数据进行冗余编码；
5、s2.利用码片交织存储技术实现存储数据的负载均衡；
6、s3.对数据解交织与数据还原；
7、s4.对数据进行解码与修复。
8、本专利技术包含编解码和数据交织技术，实现文件数据块的冗余存储，最终实现将节点突发性异常导致的数据失效转化为随机性失效。
9、下面对本专利技术具体步骤的优选方案做如下详述。
10、优选的，s1.文件数据冗余编码
11、本专利技术在rs纠删码的基础上扩充参数,构成参数为[n,k,d,m]的rs码，其中：
12、参数m为新增的阈值存储，k<m≤n-1。当可用码片数低于阈值m时，则需要立即进行数据修复,通过这种方式给予存储节点恢复的容忍时间，减少不必要的修复开销；
13、参数k则表示原始数据切割后得到的信息码片数，参数n则表示纠删码条带中的编码码片数，则可以容忍任意n-k个码片失效；
14、参数d表示进行数据修复时，可访问节点个数，即修复节点要连接到d个节点下载数据。k≤d<n。当d＝n-1时则可以达到最优的修复带宽开销。
15、所述编码流程具体细化为：
16、(1)为了提高rs纠删码计算效率，构建柯西矩阵g(k+r)×k代替范德蒙矩阵,降低解码过程中运算复杂度；其中，k为数据码片数，r为冗余码片数。k+r共同构成编码后的码片集合；
17、(2)通过有限域转换，将gf(2w)域中的元素转换为二进制矩阵，与范德蒙编rs纠删码中所描述的方法相比，不需要构建对数/反对数表，使得w可以支持很大的gf域空间计算，并有效降低运算复杂度。编码矩阵可表示为：
18、
19、其中，d为原始数据的切块，xi和yj都是伽罗华域gf(2w)中的元素，i＝1,2,…,r,j＝1,2,…,k；数据码片di以及冗余码片cj为一维数组集合，i＝0,1,…,k-1；j＝0,1,…,r-1。在伽罗华有限域内，任何一个gf(2w)上的元素都可以映射为gf(2)二进制域，并且采用一个二进制矩阵的方式标识原gf(2w)中的元素。因此，在gf(2w)中的生成矩阵k×n，经过转换变成gf(2)域中的(w×k)×(w×(k+r))二进制矩阵。通过域变换，gf(2w)中的乘法运算编程了逻辑与(and)运算，加法运算变为了异或(xor)运算，极大的降低了运算复杂度。
20、优选的，s2.码片交织存储技术
21、为了解决存储节点因为网络中断、设备故障等原因，不可避免的出现突发性失效问题。为此，本专利技术提出一种基于数据交织技术的码片负载均衡方案，旨在实现存储数据在整个存储系统中的负载均衡，同时，能够将因节点故障而导致的突发性数据失效转换为随机失效。
22、为了实现上述目标，采用基于伪随机数的交织矩阵来进行数据块随机排序以及序列重建处理，具体实现方法如下：
23、(1)对于长度为n的码片序列x(1)＝{x1,x2,…,xn}，生成一个等长的伪随机数数组，将原始码片基于伪随机数数组进行位置重排，得到新的码片序列x′；
24、(2)构建交织矩阵tw×l，将重排后的码片序列流x1,x2,…,逐行写入tw×l的矩阵缓存区，不同数据序列接续写入，当一个写入周期结束时，一行内未填充的部分由空字节补足。其中，l为矩阵深度，由单位时间内待存数据大小确定；w为矩阵宽度，表示当前存储周期内的可用存储节点数量，w设计上应不大于存储节点总数量。可表示为：
25、
26、需要说明的是，为了保证同一个存储节点中不会存储同一个码片序列的数据，因此，矩阵宽度w＞＞n,即单位时间内可用存储节点数远大于数据块编码后所得的数量；l代表单位时间内已处理(本文档来自技高网...
【技术保护点】
1.基于纠删码的去中心化数据冗余存储方法，其特征是，具体步骤如下：
2.如权利要求1所述的基于纠删码的去中心化数据冗余存储方法，其特征是，步骤S1中，在RS纠删码的基础上扩充参数,构成参数为[n,k,d,m]的RS码，其中：
3.如权利要求2所述的基于纠删码的去中心化数据冗余存储方法，其特征是，步骤S2，具体如下：
4.如权利要求3所述的基于纠删码的去中心化数据冗余存储方法，其特征是，步骤S3中，解交织过程通过构建TW×L的转置矩阵T′＝(TW×L)T,按照序列存储顺序以及码片索引标识，从对应存储节点获取码片数据流并写入解交织矩阵T′之中，如下所示：
5.如权利要求4所述的基于纠删码的去中心化数据冗余存储方法，其特征是，步骤S4中，数据去交织并正确还原码片序列X(i)后，进行数据解码，解码过程表述为：
6.如权利要求5所述的基于纠删码的去中心化数据冗余存储方法，其特征是，步骤S4中，数据修复流程具体如下：
7.基于纠删码的去中心化数据冗余存储系统，基于权利要求1-6任一项所述的方法，其特征是，包括如下模块：<...
【技术特征摘要】
1.基于纠删码的去中心化数据冗余存储方法，其特征是，具体步骤如下：
2.如权利要求1所述的基于纠删码的去中心化数据冗余存储方法，其特征是，步骤s1中，在rs纠删码的基础上扩充参数,构成参数为[n,k,d,m]的rs码，其中：
3.如权利要求2所述的基于纠删码的去中心化数据冗余存储方法，其特征是，步骤s2，具体如下：
4.如权利要求3所述的基于纠删码的去中心化数据冗余存储方法，其特征是，步骤s3中，解交织过程通过构建tw×l的转置矩阵t′＝(tw×l)t,按...
【专利技术属性】
技术研发人员：王明阳，李合计，徐宇栋，刘涛，徐欣，梁军学，姚英彪，张权，王榛华，
申请(专利权)人：中国人民解放军九三二一六部队，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。