【技术实现步骤摘要】
本申请涉及数据存储,具体涉及一种纠删码存储空间利用率提升方法、装置、设备及存储介质。
技术介绍
1、随着信息化的日益深入,全社会每天产生的数据量呈现爆发式增长,因此,人们对数据存储的可靠性、可用性需求变得越来越迫切;副本和纠删码是分布式存储邻域常见的两种冗余策略;对于一些对性能要求高的关键业务场景,比如数据库场景,用户往往期望采用副本冗余策略来保证数据的安全性,同时,读写性能也能得到保障;而对于其他对性能要求不高,对存储容量利用率较高的业务场景,比如视频存储场景,用户则往往期望采用纠删码冗余策略,保证了数据安全的同时,也提高了存储容量利用率。
2、相比副本冗余策略,纠删码确实能够大大提高存储系统的空间利用率,但因为只有在条带被数据写满的情况下才能计算出相应的校验数据,因此,纠删码节省空间的效果受到了很大的限制。
3、众所周知,对于纠删码存储,最理想的业务场景是每次写io都刚好写满整数个条带,这样就能直接计算出校验数据,对于k+p(k个原始数据块,p个校验数据块)的纠删码模型,空间利用率则可以达到理想的k/(k+p
...【技术保护点】
1.一种纠删码存储空间利用率提升方法,其特征在于,所述纠删码存储空间利用率提升方法包括:
2.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于,基于副本数据的大小,以chunk size作为阈值,在校验分片上进行后台聚合,将副本数据转化为校验数据,包括:
3.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于,基于条带现有数据的大小,以chunk size作为阈值,在校验分片上进行数据恢复,将校验数据转化为副本数据,包括:
4.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于:
5.一种纠删码
...【技术特征摘要】
1.一种纠删码存储空间利用率提升方法,其特征在于,所述纠删码存储空间利用率提升方法包括:
2.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于,基于副本数据的大小,以chunk size作为阈值,在校验分片上进行后台聚合,将副本数据转化为校验数据,包括:
3.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于,基于条带现有数据的大小,以chunk size作为阈值,在校验分片上进行数据恢复,将校验数据转化为副本数据,包括:
4.如权利要求1所述的纠删码存储空间利用率提升方法,其特征在于:
5.一种纠删码存储空间利用率提升装置,其特征在于,所述纠删码存储空间利用率提升装置包括:
6.如权利要求5所述的纠删码存储空间利用率提升装置,其特征在于,所述数据转换模块基于副本数据的大小,以chunk size作为阈值,在校验分片上进行后台聚合,将副本数据转化为校验数据,包括:
7.如权利要求...
【专利技术属性】
技术研发人员:张得旭,
申请(专利权)人:中电云计算技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。