数据存储及恢复方法、编解码器及编解码系统技术方案

本发明专利技术公开了一种数据存储及恢复方法、编解码器及编解码系统，其中，数据存储方法包括：将待存储的原始文件进行切割，从而切割成多个文件段；根据预设的数据块的个数以及预设的校验块个数确定生成矩阵；将所述生成矩阵分割成多个低维度的子矩阵；基于纠删码编码算法采用所述低维度的子矩阵对各个文件段进行批量编码；将编码后的各个文件段进行分布式存储。该数据存储及恢复方法、编解码器及编解码系统能够提高数据处理速度。

【技术实现步骤摘要】
数据存储及恢复方法、编解码器及编解码系统
本专利技术是关于数据存储领域，特别是关于一种数据存储及恢复方法、编解码器及编解码系统。
技术介绍
近年来纠删码(ErasureCoding，EC)作为一种新兴的数据存储方案逐渐成为大型数据存储的主流方案之一。而通过EC机制，将数据切割分片后按一定的冗余比例存储在不同的节点硬盘中，在保证了当部分设备故障时不会导致数据丢失的同时，也节约了存储的空间，较好地解决了数据存储可靠性和空间利用率问题。以下是EC码中主流的RS(Reed-Solomon)类纠删码机制的简要说明。这类纠删码中有两个核心参数m和n，分别代表校验块个数和原始数据块个数。其纠删码编码过程如图1所示。在图1中的编码过程中，C代表校验块，D代表原始的数据块。B代表生成矩阵。若丢失了部分数据，如图2所示，打叉处表示丢失的部分，共丢失了3个数据块，在用于编码的生成矩阵中去掉丢失数据块所对应的行，则B矩阵变成了一个新的n*n维度的新矩阵B′。与此同时，C和D组成的向量由n+m行变为n行，在上述过程中，能够得到新矩阵B′与剩余数据块向量S本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：/n将待存储的原始文件进行切割，从而切割成多个文件段；/n根据预设的数据块的个数以及预设的校验块个数确定生成矩阵；/n将所述生成矩阵分割成多个低维度的子矩阵；/n基于纠删码编码算法采用所述低维度的子矩阵对各个文件段进行批量编码；/n将编码后的各个文件段进行分布式存储。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：
将待存储的原始文件进行切割，从而切割成多个文件段；
根据预设的数据块的个数以及预设的校验块个数确定生成矩阵；
将所述生成矩阵分割成多个低维度的子矩阵；
基于纠删码编码算法采用所述低维度的子矩阵对各个文件段进行批量编码；
将编码后的各个文件段进行分布式存储。


2.如权利要求1所述的数据存储方法，其特征在于，将待存储的原始文件进行切割，从而切割成多个文件段包括：
按固定的长度进行切割，根据控制单元的指令将切割后的各个文件段按原有顺序排布或打乱顺序随机排布。


3.如权利要求1所述的数据存储方法，其特征在于，采用FPGA芯片或GPU芯片中设置的硬件形式的矩阵运算模块进行批量编码。


4.一种数据恢复方法，其特征在于，包括：
将待恢复的文件进行扫描；
根据扫描情况，在用于纠删码编码的生成矩阵中，将丢失的数据块所对应的矩阵行去掉从而得到新矩阵；
对所述新矩阵求其逆矩阵；
将所述逆矩阵分割成多个低维子矩阵；
基于纠删码解码算法采用所述低维度子矩阵对各个文件段进行批量解码。


5.如权利要求4所述的数据恢复方法，其特征在于，采用FPGA芯片或GPU芯片中设置的硬件形式的矩阵运算模块进行批量解码。


6.一种编码器，其特征在于，所述编码器为独立插件，该独立插件与FPGA芯片或GPU芯片相互配合，用于执行如权利要求1所述的数据存储方法，其中，所述FPGA芯片或所述GPU芯片中设置有硬件形式的矩阵运算模块，使得所述编码器能够进行批量编码。


7.一种解码器，其特征在于，所述解码器为独立插件，该独立插件与FPGA芯片或GPU芯片相互配合，用于执行如权利要求4所述的数据恢复方法，其中，所述FPGA芯片或所述GPU芯片中设置有硬件形式的矩阵运算模块，使得所述解码器能够进行批量解码。

【专利技术属性】
技术研发人员：吕川，张晓星，张炜，
申请(专利权)人：江苏超流信息技术有限公司，
类型：发明
国别省市：江苏;32