【技术实现步骤摘要】
本申请涉及数据存储领域，具体而言，涉及一种分布式存储系统数据管理方法、装置、系统及电子设备。
技术介绍
1、针对分布式存储系统，相关技术中提供了各种存储策略，但是目前相关技术中无法针对一个分布式存储系统来确定该系统中各条存储路径最适宜的存储策略是什么，而是针对分布式存储系统整体确定一个存储策略，导致分布式存储系统实际运行时采用的存储策略大概率不是最佳存储策略，进而导致分布式存储系统的存储效率不佳且开销较大。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种分布式存储系统数据管理方法、装置、系统及电子设备，以至少解决由于相关技术中无法确定分布式存储系统中各条存储路径的最适宜的存储策略导致分布式存储系统的存储效率低且存储开销大的技术问题。
2、根据本申请实施例的一个方面，提供了一种分布式存储系统数据管理方法，包括：依据目标分布式存储集群的业务分类信息，遍历目标分布式存储集群中的全部存储路径，并在遍历过程中获取存储路径的文件存储信息；依据文件存储信息计算存储路径的冗余策略评分，并依据冗余策略评分和第一冗余策略评分阈值确定存储路径适配的存储策略，其中，冗余策略评分用于体现存储路径与预设存储策略之间的适配度，预设存储策略包括纠删码存储策略和多副本存储策略；在确定存储路径适配的存储策略为纠删码存储策略的情况下，依据存储路径的架构信息确定存储路径的数据恢复方式；在确定存储路径适配的存储策略为多副本存储策略的情况下，依据存储路径的业
3、可选地，依据冗余策略评分和第一冗余策略评分阈值确定存储路径适配的存储策略的步骤包括：在冗余策略评分大于第一冗余策略评分阈值的情况下，确定存储路径适配的存储策略为纠删码存储策略；在冗余策略评分不大于第一冗余策略评分阈值的情况下，确定存储路径适配的存储策略为多副本存储策略。
4、可选地，架构信息包括存储路径的拓扑结构信息；依据存储路径的架构信息确定存储路径的数据恢复方式的步骤包括：依据存储路径的拓扑结构信息，确定存储路径的数据传输指标，其中，数据传输指标为在存储路径中存在故障节点时，存储路径中为了修复故障节点而跨机架传输的数据与存储路径中存储的全部数据的比值；比较数据传输指标和预设数据传输指标；依据比较结果确定存储路径的数据恢复方式。
5、可选地，依据比较结果确定存储路径的数据恢复方式的步骤包括：在数据传输指标不大于预设数据传输指标的情况下，确定存储路径采用的数据恢复方式为：在存储路径中存在故障节点的情况下，存储路径中的非故障节点直接发送保存的数据至故障节点所在的机架；在数据传输指标大于预设数据传输指标的情况下，确定存储路径采用的数据恢复方式为：在存储路径中存在故障节点的情况下，在存储路径的各个机架内部，依据非故障节点保存的数据生成校验块，再发送校验块至故障节点。
6、可选地，依据存储路径的业务重要程度和冗余策略评分确定存储路径的副本数量的步骤包括：确定第二冗余策略评分阈值，其中，第二冗余策略评分阈值小于第一冗余策略评分阈值；确定存储路径的业务重要程度评价值，以及预设的业务重要程度评价阈值；比较冗余策略评分和第二冗余策略评分阈值，以及比较业务重要程度评价值和业务重要程度评价阈值；依据比较结果确定存储路径的副本数量。
7、可选地，业务重要程度评价阈值包括第一业务重要程度评价阈值和第二业务重要程度评价阈值，其中，第一业务重要程度评价阈值大于第二业务重要程度评价阈值；依据比较结果确定存储路径的副本数量的步骤包括：在比较结果为冗余策略评分小于第二冗余策略评分阈值或者业务重要程度评价值大于第一业务重要程度评价阈值的情况下，确定存储路径的副本数量为三副本；在比较结果为业务重要程度评价值小于第二业务重要程度评价阈值，且冗余策略评分大于第二冗余策略评分阈值，小于第一冗余策略评分阈值的情况下，确定存储路径的副本数量为零；在其余情况下，确定存储路径的副本数量为二副本。
8、可选地，文件存储信息包括以下至少之一：存储路径中的库信息、表信息、域信息和租户信息，目标分布存储集群各个访问路径下的数据未访问时长，目标分布存储集群各个访问路径下的存储数据量，目标分布存储集群各个访问路径下的文件数量，平均文件大小，文件数量和文件存储格式。
9、根据本申请实施例的另一方面，还提供了一种分布式存储系统数据管理装置，包括：第一处理模块，用于依据目标分布式存储集群的业务分类信息，遍历目标分布式存储集群中的全部存储路径，并在遍历过程中获取存储路径的文件存储信息；第二处理模块，用于依据文件存储信息计算存储路径的冗余策略评分，并依据冗余策略评分和第一冗余策略评分阈值确定存储路径适配的存储策略，其中，冗余策略评分用于体现存储路径与预设存储策略之间的适配度，预设存储策略包括纠删码存储策略和多副本存储策略；第三处理模块，用于在确定存储路径适配的存储策略为纠删码存储策略的情况下，依据存储路径的架构信息确定存储路径的数据恢复方式；第四处理模块，用于在确定存储路径适配的存储策略为多副本存储策略的情况下，依据存储路径的业务重要程度和冗余策略评分确定存储路径的副本数量。
10、根据本申请实施例的另一方面，还提供了一种分布式存储系统数据管理系统，包括目标分布式存储集群，存储管理平台，其中，目标分布式存储集群，用于存储数据；存储管理平台，用于依据目标分布式存储集群的业务分类信息，遍历目标分布式存储集群中的全部存储路径，并在遍历过程中获取存储路径的文件存储信息；依据文件存储信息计算存储路径的冗余策略评分，并依据冗余策略评分和第一冗余策略评分阈值确定存储路径适配的存储策略，其中，冗余策略评分用于体现存储路径与预设存储策略之间的适配度，预设存储策略包括纠删码存储策略和多副本存储策略；在确定存储路径适配的存储策略为纠删码存储策略的情况下，依据存储路径的架构信息确定存储路径的数据恢复方式；在确定存储路径适配的存储策略为多副本存储策略的情况下，依据存储路径的业务重要程度和冗余策略评分确定存储路径的副本数量。
11、根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行分布式存储系统数据管理方法。
12、根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行分布式存储系统数据管理方法。
13、在本申请实施例中，采用依据目标分布式存储集群的业务分类信息，遍历目标分布式存储集群中的全部存储路径，并在遍历过程中获取存储路径的文件存储信息；依据文件存储信息计算存储路径的冗余策略评分，并依据冗余策略评分和第一冗余策略评分阈值确定存储路径适配的存储策略，其中，冗余策略评分用于体现存储路径与预设存储策略之间的适配度，预设存储策略包括纠删码存储策略和多副本存储策略；在确定存储路径适配的存储策略为本文档来自技高网...
【技术保护点】
1.一种分布式存储系统数据管理方法，其特征在于，包括：
2.根据权利要求1所述的分布式存储系统数据管理方法，其特征在于，所述依据所述冗余策略评分和第一冗余策略评分阈值确定所述存储路径适配的存储策略的步骤包括：
3.根据权利要求1所述的分布式存储系统数据管理方法，其特征在于，所述架构信息包括所述目标分布式存储集群的各条所述存储路径的拓扑结构信息；所述依据所述存储路径的架构信息确定所述存储路径的数据恢复方式的步骤包括：
4.根据权利要求3所述的分布式存储系统数据管理方法，其特征在于，所述依据比较结果确定所述存储路径的数据恢复方式的步骤包括：
5.根据权利要求1所述的分布式存储系统数据管理方法，其特征在于，所述依据所述存储路径的业务重要程度和所述冗余策略评分确定所述存储路径的副本数量的步骤包括：
6.根据权利要求5所述的分布式存储系统数据管理方法，其特征在于，所述业务重要程度评价阈值包括第一业务重要程度评价阈值和第二业务重要程度评价阈值，其中，所述第一业务重要程度评价阈值大于所述第二业务重要程度评价阈值；所述依据比较结果确定所
7.根据权利要求1所述的分布式存储系统数据管理方法，其特征在于，所述文件存储信息包括以下至少之一：所述目标分布存储集群中的库信息、表信息、域信息和租户信息，所述目标分布存储集群各个访问路径下的数据未访问时长，所述目标分布存储集群径各个访问路径下的存储数据量，所述目标分布存储集群各个访问路径下的文件数量，平均文件大小，文件数量和文件存储格式。
8.一种分布式存储系统数据管理装置，其特征在于，包括：
9.一种分布式存储系统数据管理系统，其特征在于，包括目标分布式存储集群，存储管理平台，其中，
10.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的分布式存储系统数据管理方法。
11.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的分布式存储系统数据管理方法。
...【技术特征摘要】
1.一种分布式存储系统数据管理方法，其特征在于，包括：
2.根据权利要求1所述的分布式存储系统数据管理方法，其特征在于，所述依据所述冗余策略评分和第一冗余策略评分阈值确定所述存储路径适配的存储策略的步骤包括：
3.根据权利要求1所述的分布式存储系统数据管理方法，其特征在于，所述架构信息包括所述目标分布式存储集群的各条所述存储路径的拓扑结构信息；所述依据所述存储路径的架构信息确定所述存储路径的数据恢复方式的步骤包括：
4.根据权利要求3所述的分布式存储系统数据管理方法，其特征在于，所述依据比较结果确定所述存储路径的数据恢复方式的步骤包括：
5.根据权利要求1所述的分布式存储系统数据管理方法，其特征在于，所述依据所述存储路径的业务重要程度和所述冗余策略评分确定所述存储路径的副本数量的步骤包括：
6.根据权利要求5所述的分布式存储系统数据管理方法，其特征在于，所述业务重要程度评价阈值包括第一业务重要程度评价阈值和第二业务重要程度评价阈值，其中，所述第一业务重要程度评价阈值大于所述第二业务重要程度评价阈值；所述依...
【专利技术属性】
技术研发人员：阮宜龙，戚甲盾，燕媛媛，付继发，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。