纠删码存储网络开销降低方法、装置、设备及存储介质制造方法及图纸

技术编号:41127834 阅读:21 留言:0更新日期:2024-04-30 17:56
一种纠删码存储网络开销降低方法、装置、设备及存储介质,纠删码存储网络开销降低方法包括:在每次对条带进行写入或删除操作时,根据每次写入或删除操作的条带的标识调整延迟淘汰队列;在每次执行聚合任务时,针对每条被写满的条带,根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略;在聚合被写满的条带的副本数据后,若副本数据处理策略为删除策略,则删除副本数据,若副本数据处理策略为不删除策略,则不删除副本数据。通过本申请,能够识别出条带是否属于热点条带,若条带属于热点条带,则在该条带被写满聚合后其副本数据不会被删除,从而可以大大降低热点条带在恢复副本数据或更新校验数据时所产生的网络开销。

【技术实现步骤摘要】

本申请涉及分布式存储,尤其涉及一种纠删码存储网络开销降低方法、装置、设备及存储介质


技术介绍

1、现今数据量呈现爆发式增长,为提升数据存储的可靠性,在分布式存储领域副本和纠删码是两种常用的冗余策略,对于纠删码冗余存储策略,为降低对硬盘写入的性能影响,副本写方案应运而生,参照图1,图1为纠删码副本写方案流程示意图,如图1所示,纠删码副本写方案的主要流程为:当条带写满时,计算该条带数据对应的校验数据,随后将原始数据块连同校验数据块一起写入硬盘,当条带未写满时,将其作为一个整体,以副本的形式写到对应的数据分片以及校验分片上,校验分片上运行有后台任务,负责定期检测写入条带的数据,当检测到条带被写满后,就会将该条带上的副本数据聚合为校验数据,然后删除副本数据。

2、纠删码副本写方案很好的解决了条带未写满情况下的写入性能问题,同时巧妙的利用后台任务对条带数据进行定期聚合,在条带被写满并聚合完副本数据后,会无差别的删除副本数据,参照图2,图2为纠删码副本写方案的覆盖写流程示意图,如图2所示,当条带中的数据发生覆盖写,并且该条带数据在之前已经被聚合副本数据已本文档来自技高网...

【技术保护点】

1.一种纠删码存储网络开销降低方法,其特征在于,所述纠删码存储网络开销降低方法包括:

2.如权利要求1所述的纠删码存储网络开销降低方法,其特征在于,所述在每次对条带进行写入或删除操作时,根据每次写入或删除操作的条带的标识调整延迟淘汰队列包括:

3.如权利要求1所述的纠删码存储网络开销降低方法,其特征在于,所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略包括:

4.如权利要求1所述的纠删码存储网络开销降低方法,其特征在于,所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略还包括:

5.如权利要求4所述的纠...

【技术特征摘要】

1.一种纠删码存储网络开销降低方法,其特征在于,所述纠删码存储网络开销降低方法包括:

2.如权利要求1所述的纠删码存储网络开销降低方法,其特征在于,所述在每次对条带进行写入或删除操作时,根据每次写入或删除操作的条带的标识调整延迟淘汰队列包括:

3.如权利要求1所述的纠删码存储网络开销降低方法,其特征在于,所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略包括:

4.如权利要求1所述的纠删码存储网络开销降低方法,其特征在于,所述根据被写满的条带的标识在延迟淘汰队列中的位置确定副本数据处理策略还包括:

5.如权利要求4所述的纠删码存储网络开销降低方法,其特征在于,在所述检测当前的磁盘使用率是否小于预设磁盘使用率之后,包括:

6.如权利要求2所述的纠删码存储网络开销降低方法,其特征在于,所述当当前条带的标识不在延迟淘汰队列中时,将当前条带的标识加入延迟淘汰队列的队...

【专利技术属性】
技术研发人员:张得旭
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1