基于纠删码的数据存储方法、装置、电子设备以及存储介质制造方法及图纸

技术编号:41952616 阅读:16 留言:0更新日期:2024-07-10 16:39
本发明专利技术公开了一种基于纠删码的数据存储方法、装置、电子设备以及存储介质。该方法包括:通过第一类存储介质对随机写入的脏数据进行聚合;在所述第一类存储介质的数据存入量大于预设存入阈值时,将聚合的脏数据组成至少一个满条带数据;将所述满条带数据进行纠删码编码后存储到第二类存储介质,所述第一类存储介质的读写性能大于所述第二类存储介质的读写性能,所述第一类存储介质的存储容量小于第二类存储介质的存储容量。采用本申请的技术方案,使得第二类存储介质的存储空间能够尽可能多的存储较多的脏数据,从而在存储脏数据时,能够在尽可能不丢失脏数据的数据完整性的同时,节省了第二类存储介质的存储空间。

【技术实现步骤摘要】

本专利技术涉及分布式存储,尤其涉及一种基于纠删码的数据存储方法、装置、电子设备以及存储介质


技术介绍

1、在分布式存储领域,数据存储的可靠性是分布式系统重要因素,在存储领域中常见的两种冗余技术就是多副本策略和纠删码。

2、在数据存储中,纠删码方法是通过纠删码算法将原始的数据进行编码得到冗余,并将数据和冗余一并存储起来,以达到容错目的。基于纠删码的方法具有冗余度低、磁盘利用率高、成本低的优点,但也有编码复杂,消耗cpu的缺点,比如在分布式文件系统中,因为纠删码条带比较大,在小块随机写的时候将不足的空间填充为满条带,使得写放大很大,浪费空间并且导致性能降低。


技术实现思路

1、本专利技术提供了一种基于纠删码的数据存储方法、装置、电子设备以及存储介质,以解决存储脏数据时,由于脏数据本身数据量较小但占用存储空间较大的问题。

2、根据本专利技术的一方面,提供了一种基于纠删码的数据存储方法,该方法包括:

3、通过第一类存储介质对随机写入的脏数据进行聚合;

<p>4、在第一类存储本文档来自技高网...

【技术保护点】

1.一种基于纠删码的数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,通过第一类存储介质对随机写入的脏数据进行聚合,包括:

3.根据权利要求1所述的方法,其特征在于,将聚合的脏数据组成至少一个满条带数据,包括:

4.根据权利要求3所述的方法,其特征在于,将读出的脏数据组成至少一个满条带数据,包括:

5.根据权利要求1所述的方法,其特征在于,将所述满条带数据进行纠删码编码后存储到第二类存储介质,包括:

6.根据权利要求5所述的方法,其特征在于,通过对满条带数据进行纠删码计算确定用于对满条带数据进行...

【技术特征摘要】

1.一种基于纠删码的数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,通过第一类存储介质对随机写入的脏数据进行聚合,包括:

3.根据权利要求1所述的方法,其特征在于,将聚合的脏数据组成至少一个满条带数据,包括:

4.根据权利要求3所述的方法,其特征在于,将读出的脏数据组成至少一个满条带数据,包括:

5.根据权利要求1所述的方法,其特征在于,将所述满条带数据进行纠删码编码后存储到第二类存储介质,包括:

6.根据权利要求5所述的方法,其特征在于,通过对满条带数据进行纠删码计算确定用于对满条带数据进行纠删码写入的纠删码组,包括:

7.根据权利要求5所述的方...

【专利技术属性】
技术研发人员:杨家乐朱文禧
申请(专利权)人:苏州库瀚信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1