一种分布式存储集群数据的存储方法、装置及介质制造方法及图纸

本发明专利技术公开了一种分布式存储集群数据的存储方法、装置及介质，适用于数据存储技术领域。获取分布式存储集群数据以及对应的副本数据；根据分布式存储集群的集群信息表和数据分片规则对分布式存储集群数据和副本数据分别划分得到多个数据集切片和多个数据集副本切片；根据数据副本分布规则对多个数据集切片和多个数据集副本切片交叉分布在至少两个不同的机架。该方法通过数据分片规则进行分片存储，避免现有的仅主节点存储空间小导致分布式集群整体数据落盘的空间受损问题，以提高集群数据存储的均衡性。通过数据副本分布规则的机架互斥原理存储，降低数据在一个节点或者所处的机架故障时带来的数据安全风险，提高数据的安全性和集群的稳定性。安全性和集群的稳定性。安全性和集群的稳定性。

【技术实现步骤摘要】
一种分布式存储集群数据的存储方法、装置及介质


[0001]本专利技术涉及数据存储
，特别是涉及一种分布式存储集群数据的存储方法、装置及介质。

技术介绍

[0002]在当前的分布式存储集群环境中，日常生产环境中会产生海量性能监控数据，集群的各个从节点产生性能监控数据向主节点上报并存储。由于主节点的存储模式为单节点存储，若主节点出现故障时，性能监控数据会面临数据丢失风险。
[0003]另外，分布式存储集群的节点较多，产生的缓存数据也比较大，则会占用集群主节点的空间较大，类似木桶原理，节点的存储空间有限，若仅上报的节点缓存数据，其剩余的空闲存储空间较小，严重时会导致分布式集群整体数据落盘的空间受损。为了解决存储空间受限问题，通常会进行定期删除数据，由于数据存储量有效且删除的数据没有备份导致删除后无法恢复和找回，对于集群的数据安全和存储的均衡性存在较大的隐患。
[0004]因此，如何保证集群的数据安全和存储均衡性是本领域技术人员亟需要解决的。

技术实现思路

[0005]本专利技术的目的是提供一种分布式存储集群数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储集群数据的存储方法，其特征在于，包括：获取所述分布式存储集群数据以及对应的副本数据；根据分布式存储集群的集群信息表和数据分片规则对所述分布式存储集群数据和所述副本数据分别划分得到多个数据集切片和多个数据集副本切片；根据数据副本分布规则对多个所述数据集切片和多个所述数据集副本切片交叉分布在至少两个不同的机架。2.根据权利要求1所述的分布式存储集群数据的存储方法，其特征在于，所述数据分片规则的建立过程，包括：获取所述分布式存储集群的节点个数和数据集规模；根据预设个数预留所述分布式存储集群的节点作为备用节点；根据所述数据集规模、所述备用节点个数和所述节点个数的关系确定数据集切片的个数。3.根据权利要求1所述的分布式存储集群数据的存储方法，其特征在于，所述根据数据副本分布规则对多个所述数据集切片和多个所述数据集副本切片交叉分布在至少两个不同的机架，包括：将多个所述数据集切片和多个所述数据集副本切片对应的同一个数据集交叉分布在所述分布式存储集群的各节点；根据互斥原则、多个所述数据集切片和多个所述数据集副本切片对交叉分布后的各所述节点交叉分布在至少两个不同的所述机架，所述机架内包含至少一个节点。4.根据权利要求1所述的分布式存储集群数据的存储方法，其特征在于，所述分布式存储集群的集群信息表至少包括节点拓扑分布信息、数据集信息和副本分布信息；所述节点拓扑分布信息至少包括机架位置编号、机架名称、节点编号和节点名称；所述数据集信息至少包括数据集名称、数据集编号、数据集分类时间和数据集规模；所述副本分布信息至少包括备份数据集编号、备份数据集规模、副本分片规模、切片编号、分片个数、备份节点编号和所处的机架编号。5.根据权利要求4所述的分布式存储集群数据的存储方法，其特征在于，所述副本分布信息还包括切片指针信息，所述切片指针信息用于指向数据集的下一个切片和上一个切片位置以便于根据所述数据集切片和/或所述数据集副本切片进行数据组合。6.根据权利要求4所述的分布式存储集群数据的存储方法，其特征在于，所述数据集信息表还包括数据集校验值；根据所述数据分片规则和所述数据集校验...

【专利技术属性】
技术研发人员：董俊明，乔波波，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：