纠删码存储空间利用率提升方法、装置、设备及存储介质制造方法及图纸

技术编号:41304966 阅读:28 留言:0更新日期:2024-05-13 14:50
一种纠删码存储空间利用率提升方法、装置、设备及存储介质,涉及数据存储技术领域,其中,纠删码存储空间利用率提升方法包括:将校验分片划分为副本数据空间和校验数据空间,所述副本数据空间仅存放未满条带的副本数据,所述校验数据空间仅存放满条带的校验数据;基于副本数据或条带现有数据的大小,以chunk size作为阈值,在校验分片上进行后台聚合或数据恢复,以进行副本数据与校验数据的相互转化。本申请能降低存储空间的浪费,极大提升了条带未被写满情况下的空间利用率。

【技术实现步骤摘要】

本申请涉及数据存储,具体涉及一种纠删码存储空间利用率提升方法、装置、设备及存储介质


技术介绍

1、随着信息化的日益深入,全社会每天产生的数据量呈现爆发式增长,因此,人们对数据存储的可靠性、可用性需求变得越来越迫切;副本和纠删码是分布式存储邻域常见的两种冗余策略;对于一些对性能要求高的关键业务场景,比如数据库场景,用户往往期望采用副本冗余策略来保证数据的安全性,同时,读写性能也能得到保障;而对于其他对性能要求不高,对存储容量利用率较高的业务场景,比如视频存储场景,用户则往往期望采用纠删码冗余策略,保证了数据安全的同时,也提高了存储容量利用率。

2、相比副本冗余策略,纠删码确实能够大大提高存储系统的空间利用率,但因为只有在条带被数据写满的情况下才能计算出相应的校验数据,因此,纠删码节省空间的效果受到了很大的限制。

3、众所周知,对于纠删码存储,最理想的业务场景是每次写io都刚好写满整数个条带,这样就能直接计算出校验数据,对于k+p(k个原始数据块,p个校验数据块)的纠删码模型,空间利用率则可以达到理想的k/(k+p),但是,实际业务场本文档来自技高网...

【技术保护点】

1.一种纠删码存储空间利用率提升方法,其特征在于,所述纠删码存储空间利用率提升方法包括:

2.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于,基于副本数据的大小,以chunk size作为阈值,在校验分片上进行后台聚合,将副本数据转化为校验数据,包括:

3.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于,基于条带现有数据的大小,以chunk size作为阈值,在校验分片上进行数据恢复,将校验数据转化为副本数据,包括:

4.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于:

5.一种纠删码存储空间利用率提升装...

【技术特征摘要】

1.一种纠删码存储空间利用率提升方法,其特征在于,所述纠删码存储空间利用率提升方法包括:

2.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于,基于副本数据的大小,以chunk size作为阈值,在校验分片上进行后台聚合,将副本数据转化为校验数据,包括:

3.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于,基于条带现有数据的大小,以chunk size作为阈值,在校验分片上进行数据恢复,将校验数据转化为副本数据,包括:

4.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于:

5.一种纠删码存储空间利用率提升装置,其特征在于,所述纠删码存储空间利用率提升装置包括:

6.如权利要求5所述的纠删码存储空间利用率提升装置,其特征在于,所述数据转换模块基于副本数据的大小,以chunk size作为阈值,在校验分片上进行后台聚合,将副本数据转化为校验数据,包括:

7.如权利要求...

【专利技术属性】
技术研发人员:张得旭
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1