System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种分布式存储系统、数据存储方法以及产品技术方案_技高网

一种分布式存储系统、数据存储方法以及产品技术方案

技术编号:42619601 阅读:37 留言:0更新日期:2024-09-03 18:26
本申请实施例提供了一种分布式存储系统、数据存储方法以及产品,所述分布式存储系统为多个业务系统提供存储服务,分布式存储系统包括业务管理模块,业务管理模块用于响应于当前业务系统发送的待存储业务数据的存储请求,确定当前业务系统对应的分类等级;根据当前业务系统对应的分类等级,确定待存储业务数据对应的数据存储模式;按照待存储业务数据对应的数据存储模式,将待存储业务数据存储在分布式存储系统中;其中,业务管理模块中存储有不同的业务系统各自对应的分类等级以及各个分类等级和数据存储模式之间的映射关系,数据存储模式用于对待存储业务数据进行安全存储。本申请实施例旨在提高分布式存储系统的存储效率。

【技术实现步骤摘要】

本申请实施例涉及数据存储的,具体而言,涉及一种分布式存储系统、数据存储方法以及产品


技术介绍

1、在数字化发展的过程中,数据存储也成为重中之重,目前主流的数据存储包括有集中式存储和分布式存储两大类型,其中,分布式存储可以基于通用的服务器设备部署分布式存储软件以实现大型数据中心的存储需求,而且其分布式的技术架构为大规模场景下的快速扩容也提供了便捷,随着底层技术的不断优化其存储处理能力也得到了大幅度的提升,应用范围越来越大;同时,分布式存储为了保证数据的安全性,提供了多种数据保护机制,示例地数据保护机制多副本和纠删。

2、但是,分布式存储系统中不同的数据保护机制具有各自的存储特点以及缺陷,如多副本的数据保护机制在提高数据安全性的同时存储空间的利用率低;纠删的数据保护机制存储空间利用率高,但是读写效率低,尤其在数据写入时候效率会远低于多副本机制,无法满足业务高并发或高i/o(input/output,输入/输出)的需求。

3、因此,如何在数据存储的过程中合理地选择数据保护机制,以实现分布式存储系统的存储效率是一个亟待解决的问题。


技术实现思路

1、本申请实施例提供一种分布式存储系统、数据存储方法以及产品,旨在提高分布式存储系统的存储效率。

2、第一方面本申请实施例提供一种分布式存储系统,所述分布式存储系统为多个业务系统提供存储服务,所述分布式存储系统包括业务管理模块,其中:

3、所述业务管理模块,用于响应于当前业务系统发送的待存储业务数据的存储请求,确定所述当前业务系统对应的分类等级;根据所述当前业务系统对应的分类等级,确定所述待存储业务数据对应的数据存储模式;按照所述待存储业务数据对应的数据存储模式,将所述待存储业务数据存储在所述分布式存储系统中;

4、其中,所述业务管理模块中存储有不同的业务系统各自对应的分类等级以及各个分类等级和数据存储模式之间的映射关系,所述数据存储模式用于对所述待存储业务数据进行安全存储。

5、可选地,所述业务管理模块包括:

6、业务接口,用于获取任一业务系统的分类等级,所述分类等级包括关键数据、重要数据以及一般数据;

7、分类等级数据库,用于存储所述多个业务系统各自对应的分类等级;

8、执行单元,用于在所述分类等级数据库中查找所述当前业务系统对应的分类等级,根据所述当前业务系统对应的分类等级和各个分类等级和数据存储模式之间的映射关系,确定所述待存储业务数据对应的数据存储模式,并根据所述待存储业务数据对应的数据存储模式,将所述待存储业务数据存储在所述分布式存储系统中。

9、可选地,所述执行单元用于:

10、当所述当前业务系统对应的分类等级为关键数据时,确定所述待存储业务数据对应的数据存储模式为多副本存储模式;

11、当所述当前业务系统对应的分类等级为重要数据或一般数据时,确定所述待存储业务数据对应的数据存储模式为纠删模式。

12、可选地,所述业务管理模块还用于接收任一业务系统在连接所述分布式存储系统时发送的分类等级信息,在所述分类等级信息中获取并存储该业务系统对应的分类等级。

13、可选地,所述分布式存储系统还包括监控分析模块,所述监控分析模块用于:

14、对任一业务系统的分析维度信息进行监控,所述分析维度信息包括每秒进行读写操作的次数、吞吐量以及存储容量;

15、根据所述分析维度信息,分析得到该业务系统的分类等级;

16、将该业务系统的分类等级发送至所述业务管理模块。

17、可选地,所述监控分析模块包括:

18、监控单元,用于监测任一业务系统的多个历史业务数据,获取所述多个历史业务数据各自的分析维度信息;

19、存储单元,用于将该业务系统的多个历史业务数据各自的分析维度信息存储在所述分布式存储系统中的第一目标存储空间中;

20、分析单元,用于根据该业务系统的多个历史业务数据各自的分析维度信息,确定该业务系统的分类等级,并将所述分类等级发送至所述业务管理模块。

21、可选地,所述分析单元用于:

22、对于任一业务系统,根据该业务系统的多个历史业务数据各自的每秒进行读写操作的次数,确定第一平均值;

23、根据该业务系统的多个历史业务数据各自的吞吐量,确定第二平均值;

24、根据该业务系统的多个历史业务数据各自的存储大小,确定存储容量;

25、根据所述第一平均值、所述第二平均值和所述存储容量,计算得到等级得分;

26、根据该业务系统的等级得分与不同的分类等级各自对应的等级阈值,确定该业务系统的分类等级。

27、可选地,所述分析单元确定任一业务系统的等级得分的公式为:

28、等级得分=(第一平均值*50%+第二平均值*30%)/(存储容量*10%)。

29、可选地,所述监控单元,还用于在预设监控周期内对任一业务系统的各个业务存储数据的分析维度信息进行监控;

30、所述存储单元,用于将预设监控周期内该业务系统的各个业务存储数据的分析维度信息存储在所述分布式存储系统中的第二目标存储空间中;

31、分析单元,用于根据预设监控周期内该业务系统的各个业务存储数据的分析维度信息,得到该业务系统的更新后的分类等级,并将所述更新后的分类等级发送至所述业务管理模块;

32、所述业务管理模块用于根据该业务系统更新后的分类等级,替换该业务系统当前的分类等级。

33、可选地,所述分析单元用于在得到该业务系统的更新后的分类等级后,向所述存储单元发送分析完毕指令;

34、所述存储单元,用于响应于所述分析完毕指令,将所述第二目标存储空间中存储的该业务系统在预设监控周期内的第二分析维度信息删除。

35、可选地,所述分布式存储系统还包括转换模块,其中:

36、所述转换模块,用于在检测到所述业务管理模块中任一业务系统的分类等级变化时,根据变换后的分类等级,重新确定所述分布式存储系统中该业务系统存储的各个业务数据对应的更新后的数据存储模式,并根据所述更新后的数据存储模式,更改该所述分布式存储系统中该业务系统存储的各个业务数据的存储模式。

37、第二方面,本申请实施例提供一种分布式存储系统的数据存储方法,所述方法应用于分布式存储系统,所述方法包括:

38、响应于当前业务系统发送的待存储业务数据的存储请求,确定所述当前业务系统对应的分类等级;

39、根据所述当前业务系统对应的分类等级,确定所述待存储业务数据对应的数据存储模式;

40、按照所述待存储业务数据对应的数据存储模式,将所述待存储业务数据存储在所述分布式存储系统中;

41、其中,所述分布式存储系统中存储有不同的业务系统各自对应的分类等级以及各个分类等级和数据存储模式之间的映射关系,所本文档来自技高网...

【技术保护点】

1.一种分布式存储系统,其特征在于,所述分布式存储系统为多个业务系统提供存储服务,所述分布式存储系统包括业务管理模块,其中:

2.根据权利要求1所述的分布式存储系统,其特征在于,所述业务管理模块包括:

3.根据权利要求2所述的分布式存储系统,其特征在于,所述执行单元用于:

4.根据权利要求1所述的分布式存储系统,其特征在于,

5.根据权利要求1所述的分布式存储系统,其特征在于,所述分布式存储系统还包括监控分析模块,所述监控分析模块用于:

6.根据权利要求5所述的分布式存储系统,其特征在于,所述监控分析模块包括:

7.根据权利要求6所述的分布式存储系统,其特征在于,所述分析单元用于:

8.根据权利要求7所述的分布式存储系统,其特征在于,所述分析单元确定任一业务系统的等级得分的公式为:

9.根据权利要求6所述的分布式存储系统,其特征在于,

10.根据权利要求9所述的分布式存储系统,其特征在于,

11.根据权利要求7所述的分布式存储系统,其特征在于,所述分布式存储系统还包括转换模块,其中:

12.一种分布式存储系统的数据存储方法,其特征在于,所述方法应用于分布式存储系统,所述方法包括:

13.一种计算机设备,其特征在于,包括:至少一个处理器,以及存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时执行权利要求12所述的分布式存储系统的数据存储方法。

14.一种非易失性可读存储介质,其特征在于,所述非易失性可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时执行权利要求12所述的分布式存储系统的数据存储方法。

15.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求12所述的分布式存储系统的数据存储方法。

...

【技术特征摘要】

1.一种分布式存储系统,其特征在于,所述分布式存储系统为多个业务系统提供存储服务,所述分布式存储系统包括业务管理模块,其中:

2.根据权利要求1所述的分布式存储系统,其特征在于,所述业务管理模块包括:

3.根据权利要求2所述的分布式存储系统,其特征在于,所述执行单元用于:

4.根据权利要求1所述的分布式存储系统,其特征在于,

5.根据权利要求1所述的分布式存储系统,其特征在于,所述分布式存储系统还包括监控分析模块,所述监控分析模块用于:

6.根据权利要求5所述的分布式存储系统,其特征在于,所述监控分析模块包括:

7.根据权利要求6所述的分布式存储系统,其特征在于,所述分析单元用于:

8.根据权利要求7所述的分布式存储系统,其特征在于,所述分析单元确定任一业务系统的等级得分的公式为:

9.根据权利要求6所述的分布式存储系统,其特征在于,

【专利技术属性】
技术研发人员:刘娜
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1