一种数据分布方法、装置以及设备制造方法及图纸

技术编号:40707940 阅读:15 留言:0更新日期:2024-03-22 11:08
本申请提供了一种数据分布方法、装置以及设备。首先获取数据分布任务的第一分布参数,第一分布参数包括机组的数量M、每个机组包括的机器的数量以及待存储数据对应的数据分片的数量N。随后根据第一分布参数构建第一网络流模型,第一网络流模型包括网络流径和多种类型的网络节点。最后根据第一网络流模型确定待存储数据的第一数据分布方案,第一数据分布方案包括每个机组中每台机器存储的副本。本申请所提供的方法不仅能够实现将数据副本以数据分片的形式尽可能均匀的分布在各个机组之中,达到负载均衡,还能够在增加或减少存储节点时,降低需要迁移的数据量。

【技术实现步骤摘要】

本申请属于计算机,尤其涉及一种数据分布方法、装置以及设备


技术介绍

1、数据分布方案作为分布式存储系统之中的重要组成部分,对于数据分布算法的选择通常需要至少考虑以下三个因素:第一个因素是故障域隔离,同一份数据的不同数据副本分布在多个独立的区域之中以降低数据损坏的风险。第二个因素是负载均衡,数据能够均匀地分布在存储容量不等的存储节点,避免部分节点空闲部分节点超载从而影响系统性能。第三个因素是控制存储节点加入或离开时引起的数据迁移量,当存储节点离开存储系统时,最优的数据迁移是只有离线存储节点上的数据被迁移到其它存储节点,而正常工作的存储节点的数据不会发生迁移,如何对存储系统的存储数据实现合理分布是目前亟待解决的技术问题。


技术实现思路

1、本申请提供了一种数据分布方法、装置以及设备。本申请所提供的方法不仅能够实现将数据副本以数据分片的形式尽可能均匀的分布在各个机组之中,达到负载均衡,还能够在增加或减少存储节点时,降低需要迁移的数据量。

2、第一方面,本申请提出了一种数据分布方法。首先,获取数据分布任本文档来自技高网...

【技术保护点】

1.一种数据分布方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述第一分布参数构建第一网络流模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述多种类型的网络节点构建所述第一网络流模型的层级结构,包括:

4.根据权利要求3所述的方法,其特征在于,同层级的网络节点与上一层级同一个网络节点之间的网络流径对应的最大流通量相等,任意两个类别的网络流径的所述最大流通量之和相等。

5.根据权利要求3或4所述的方法,其特征在于,所述网络流径还包括流经成本,所述流经成本表示副本经过所述网络流径所需的成本;...

【技术特征摘要】

1.一种数据分布方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述第一分布参数构建第一网络流模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述多种类型的网络节点构建所述第一网络流模型的层级结构,包括:

4.根据权利要求3所述的方法,其特征在于,同层级的网络节点与上一层级同一个网络节点之间的网络流径对应的最大流通量相等,任意两个类别的网络流径的所述最大流通量之和相等。

5.根据权利要求3或4所述的方法,其特征在于,所述网络流径还包括流经成本,所述流经成本表示副本经过所述网络流径所需的成本;

6.根据权利要求5所述的方法,其特征在于,所述根据所述第一网络流模型确定所述待存储数据的第一数据分布方案,包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,在所述第二数据分布方案中,所述第二机器中的待存储副本包括所述第一数据分布方案中所述第二机器中存储的副本,所述第二机器是没有出现故障的机器。

9.根据权利要求7或8所述的方法,其特征在于,所述根据所述第一数据分布方案和所述第二数据分布方案,确定目标副本所在的目标机器节点,包括:

10.一种数据分布装置,其特征在于,包括:

11.根据权利要求10所述的装置,...

【专利技术属性】
技术研发人员:毛琦
申请(专利权)人:行吟信息科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1