分布式存储系统的重构方法、系统、设备及存储介质技术方案

技术编号:43432414 阅读:25 留言:0更新日期:2024-11-27 12:41
本申请公开了一种分布式存储系统的重构方法、系统、设备及存储介质,应用于存储技术领域,包括:在接收到重构请求之后,基于分布式存储系统的参数信息和硬盘故障信息,确定出分布式存储系统的存储池有效容量;结合存储空间预留比例确定最大可容纳数据量;获取分布式存储系统的实际使用容量;判断实际使用容量是否低于最大可容纳数据量;如果是则启动重构;如果否则按照预设的删除规则,对分布式存储系统中被标记为淘汰状态的文件进行删除,使得实际使用容量低于最大可容纳数据量之后,启动重构。应用本申请的方案,有利于保障分布式存储系统的重构的可靠性,并且无需提前预留存储空间,即并不是通过牺牲存储空间来保障重构的可靠执行。

【技术实现步骤摘要】

本专利技术涉及存储,特别是涉及一种分布式存储系统的重构方法、系统、设备及存储介质


技术介绍

1、分布式存储是一种容量型的存储系统,可以存储大量文件,例如通常可以用来存储需要占用大量存储空间的视频文件。并且为了提高存储性能,通常采用的是覆盖写的方式进行文件存储,可以减少删除操作,提高存储寿命。可参阅图1,为目前的文件存储结构示意图,如图1所示,分给视频存储的最大利用空间会根据容量均分成n个块,录制好的视频文件可以写入划分好的块中,当第一个块写满后,再将文件写入第二个块,以此类推,全部块文件写满后再根据规则进行覆盖写。但是,以此种方式运行一段时间后,整个分布式存储系统集群就一直在高水位状态,即存储了大量文件。而通常为了保证存储的可靠性要求(容纳磁盘、节点故障等方面的可靠性要求),会将写入的水位设置在可用容量之下,例如一共100t的存储使用空间,预留了4t以容纳盘的故障,则将视频文件的存储写满水位设置为96t,此外,由于分布式存储重平横机制,重构过程中会产生约2%~5%的临时数据,往往需要将写入的水位再降低2%以上,不然就完不成重构的任务。也就是说,目前的方案本文档来自技高网...

【技术保护点】

1.一种分布式存储系统的重构方法,其特征在于,包括:

2.根据权利要求1所述的分布式存储系统的重构方法,其特征在于,还包括:

3.根据权利要求1所述的分布式存储系统的重构方法,其特征在于,基于分布式存储系统的参数信息和硬盘故障信息,确定出所述分布式存储系统的存储池有效容量,包括:

4.根据权利要求1所述的分布式存储系统的重构方法,其特征在于,按照预设的删除规则,对所述分布式存储系统中被标记为淘汰状态的文件进行删除,使得所述实际使用容量低于所述最大可容纳数据量之后,启动重构,包括:

5.根据权利要求4所述的分布式存储系统的重构方法,其特征在于...

【技术特征摘要】

1.一种分布式存储系统的重构方法,其特征在于,包括:

2.根据权利要求1所述的分布式存储系统的重构方法,其特征在于,还包括:

3.根据权利要求1所述的分布式存储系统的重构方法,其特征在于,基于分布式存储系统的参数信息和硬盘故障信息,确定出所述分布式存储系统的存储池有效容量,包括:

4.根据权利要求1所述的分布式存储系统的重构方法,其特征在于,按照预设的删除规则,对所述分布式存储系统中被标记为淘汰状态的文件进行删除,使得所述实际使用容量低于所述最大可容纳数据量之后,启动重构,包括:

5.根据权利要求4所述的分布式存储系统的重构方法,其特征在于,对所述分布式存储系统中被标记为淘汰状态的1个或者多个文件进行删除,使...

【专利技术属性】
技术研发人员:苏雅邓灿
申请(专利权)人:郑州浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1