存储数据的方法、装置、设备和计算机可读存储介质制造方法及图纸

技术编号:24408828 阅读:28 留言:0更新日期:2020-06-06 08:16
本申请提供一种存储数据的方法、装置、设备和计算机可读存储介质,方法包括:将数据划分为X个数据分片,X个数据分片构成包括m行和n列的阵列,每行包括至少一个并且至多n个数据分片,每列包括至少一个并且至多m个数据分片,其中X、m、n均为大于或等于2的正整数;用纠错码的编码算法对每行中至少一个数据分片进行编码得到至少一个行校验分片,共得到M个行校验分片,并用纠错码的编码算法对每列中至少一个数据分片进行编码得到至少一个列校验分片,共得到N个列校验分片,其中M≥m,N≥n;存储X个数据分片、M个行校验分片和N个列校验分片。根据本申请的方案,数据存储更加安全,存储效率得到提高。

Methods, devices, devices and computer-readable storage media for storing data

【技术实现步骤摘要】
存储数据的方法、装置、设备和计算机可读存储介质
本专利技术涉及信息
,特别涉及一种存储数据的方法、装置、设备和计算机可读存储介质。
技术介绍
在数据存储使用的纠错编码算法一般都沿用通信领域的纠错编码算法,只关注了编码的容错纠错能力,但并没有很好地满足数据重建时的性能需求,在数据重建时一般都需要读取所有未损坏的数据分片和足够多的校验分片来恢复损坏的数据分片,导致数据重建的性能比较低下,重建时对网络带宽的损耗也比较大。
技术实现思路
有鉴于此,本专利技术实施例致力于提供一种存储数据的方法、装置、设备和计算机可读存储介质,能够在绝大部分情况下可以只读取极少数量的数据分片就可以恢复损坏的数据分片。本专利技术一方面提供一种存储数据的方法,包括:将数据划分为X个数据分片,X个数据分片构成包括m行和n列的阵列,每行包括至少一个并且至多n个数据分片,每列包括至少一个并且至多m个数据分片,其中X、m、n均为大于或等于2的正整数;用纠错码的编码算法对每行中至少一个数据分片进行编码得到至少一个行校验分片,共得到M个行校验分片,并用纠本文档来自技高网...

【技术保护点】
1.一种存储数据的方法,其特征在于,包括:/n将所述数据划分为X个数据分片,所述X个数据分片构成包括m行和n列的阵列,每行包括至少一个并且至多n个数据分片,每列包括至少一个并且至多m个数据分片,其中X、m、n均为大于或等于2的正整数;/n用纠错码的编码算法对所述每行中至少一个数据分片进行编码得到至少一个行校验分片,共得到M个行校验分片,并用纠错码的编码算法对所述每列中至少一个数据分片进行编码得到至少一个列校验分片,共得到N个列校验分片,其中M≥m,N≥n;/n存储所述X个数据分片、所述M个行校验分片和所述N个列校验分片。/n

【技术特征摘要】
1.一种存储数据的方法,其特征在于,包括:
将所述数据划分为X个数据分片,所述X个数据分片构成包括m行和n列的阵列,每行包括至少一个并且至多n个数据分片,每列包括至少一个并且至多m个数据分片,其中X、m、n均为大于或等于2的正整数;
用纠错码的编码算法对所述每行中至少一个数据分片进行编码得到至少一个行校验分片,共得到M个行校验分片,并用纠错码的编码算法对所述每列中至少一个数据分片进行编码得到至少一个列校验分片,共得到N个列校验分片,其中M≥m,N≥n;
存储所述X个数据分片、所述M个行校验分片和所述N个列校验分片。


2.根据权利要求1所述的方法,还包括:
当所述X个数据分片中有至少一个数据分片的数据损坏时,通过读取损坏数据分片所在行中的未损坏数据分片和行校验分片并采用该行的纠错码的译码算法来恢复所述损坏数据分片;或者,
通过读取损坏数据分片所在列中的未损坏数据分片和列校验分片并采用该列的纠错码的译码算法来恢复所述损坏数据分片。


3.根据权利要求1所述的方法,其中,所述存储所述X个数据分片、所述M个行校验分片和所述N个列校验分片,包括:
将所述X个数据分片、所述M个行校验分片和所述N个列校验分片分别存储在不同的网络节点中。


4.根据权利要求1所述的方法,其中,所述纠错码包括戈雷Golay码、里德-所罗门RS码、里德-穆勒RM码、博斯-乔赫里-霍克文黑姆BCH码、低密度奇偶校验LDPC码、卷积码、和涡轮Turbo码中的至少一种。


5.根据权利要求4所述的方法,其中,所述里德-所罗门RS码在有限域GF(256)中生成。


6.根据权利要求1至5中任一项所述的方法,还包括:
对所述X个数据分片中每个数据分片求哈希值;
存储所述哈希值。


7.根据权利要求1所述的方法,还包括:
用纠错码的编码算法对所述X个数据分片进行编码得到x个全局校验分片;
存储所述x个全局校验分片。


8.根据权利要求7所述的方法,还包括:
用纠错码的编码算法对所述x个全局校验分片进行编码得到全局校验码的...

【专利技术属性】
技术研发人员:王东临
申请(专利权)人:书生星际北京科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1