一种分布式数据库集群数据的分布方法及装置制造方法及图纸

本发明专利技术提供了一种分布式数据库集群数据的分布方法及装置，其中，所述方法包括：在集群节点安装时，获取所述节点的硬件信息；配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。可灵活的调整节点哈希桶的数量，能够保证高硬件资源的节点分配更多的数据，避免了节点运算的木桶效应。

Distribution method and device for distributed database cluster data

The present invention provides a method and device for distribution, distributed database cluster data wherein the method comprises the following steps: the cluster nodes installed, obtaining the node hardware configuration information; the cluster hash map Hash Map, according to the node's hardware information for each node is assigned a hash bucket. The number of hash buckets can be flexibly adjusted, and more nodes can be allocated to nodes with high hardware resources, thus avoiding the bucket effect of node computing.

【技术实现步骤摘要】
一种分布式数据库集群数据的分布方法及装置
本专利技术属于数据库
，尤其是涉及一种分布式数据库集群数据的分布方法及装置。
技术介绍
分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。近年来，随着数据量的高速增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式架构发展，基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下，从集中式存储走向分布式存储，从集中式计算走向分布式计算。在客户的业务场景中，当初始安装集群时，如果集群节点的硬件资源不对等，或者当安装完集群后需要进行节点替换时，当替换的新节点和原有集群节点的硬件资源不对等时，或者到进行集群扩容时，新的扩容的节点的硬件资源和原集群节点资源不对等时，当前版本的集群进行数据分布时采用一致性的hash方式来分布数据时把节点对等看待，保证了节点数据是均匀的，但节点的硬件资源的不对等导致了节点运算的木桶效应。目前市场上主流的分布式数据库系统vertica,GreepPlum一般也是采用一致性的hash方式来分布集群中的数据，经过hash分布的表，在初始安装，节点替换和扩容时，按照以上方式导致当集群中的物理节点的硬件配置即使不同时，采用一致性的hash方式来分布数据把节点对等看待，因此无论集群中硬件配置高的物理节点，还是集群中硬件配置低的物理节点都分配到了基本相当的数据量，带来的问题是硬件配置低的物理节点成为了系统性能的瓶颈。
技术实现思路
本专利技术实施例提供了一种分布式数据库集群数据的分布方法及装置，以解决现有技术中集群节点的硬件资源的不对等导致了节点运算的木桶效应。的技术问题。一方面，本专利技术实施例提供了一种分布式数据库集群数据的分布方法，包括：在集群节点安装时，获取所述节点的硬件信息；配置所述集群的哈希地图HashMap，并根据所述节点的硬件信息为每个节点分配哈希桶。进一步的，所述方法还包括：在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。进一步的，所述方法还包括：在所述集群增加节点时，建立新的HashMap，并根据所述增加的节点的硬件信息分配哈希桶。更进一步的，所述根据所述增加的节点的硬件信息分配哈希桶，包括：移动变更哈希桶的节点的部分数据至所述增加的节点。另一方面，本专利技术实施例提供了一种分布式数据库集群数据的分布装置，包括：获取单元，用于在集群节点安装时，获取所述节点的硬件信息；分配单元，用于配置所述集群的哈希地图HashMap，并根据所述节点的硬件信息为每个节点分配哈希桶。进一步的，所述装置还包括：调整单元，用于在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。进一步的，所述装置还包括：再分配单元，用于在所述集群增加节点时，建立新的HashMap，并根据所述增加的节点的硬件信息分配哈希桶。更进一步的，所述再分配单元用于：移动变更哈希桶的节点的部分数据至所述增加的节点。本专利技术实施例提供的分布式数据库集群数据的分布方法及装置，通过根据分布式数据库集群节点的硬件配置哈希地图，并可灵活的调整节点哈希桶的数量，能够保证高硬件资源的节点分配更多的数据，避免了节点运算的木桶效应。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的分布式数据库集群数据的分布方法的流程示意图；图2是本专利技术实施例二提供的分布式数据库集群数据的分布方法的流程示意图；图3是本专利技术实施例三提供的分布式数据库集群数据的分布方法的流程示意图；图4是本专利技术实施例四提供的布式数据库集群数据的分布装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一图1为本专利技术实施例一提供的分布式数据库集群数据的分布方法的流程图，本实施例可适用于对集群中的数据进行分布的情况，该方法可以由分布式数据库集群数据的分布装置来执行，该装置可由软件/硬件方式实现，并可集成于分布式数据库系统的管理节点中。参见图1，所述分布式数据库集群数据的分布的方法，包括：S110，在集群节点安装时，获取所述节点的硬件信息。分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库。每个计算机系统的硬件配置可能相同，也可能不同。在本实施例中，可以将分布式数据库系统的节点分为三类,分别为低硬件资源的节点，中硬件资源的节点，高硬件资源的节点。在创建分布式数据库时，对集群中每个节点进行安装，在进行安装时，可以通过网络和相应的指令获取每个节点的硬件信息。所述硬件信息可以包括：CPU频率、内存大小和硬盘大小等。S120，配置所述集群的哈希地图HashMap，并根据所述节点的硬件信息为每个节点分配哈希桶。在节点硬件信息缺省情况下，各个节点所分配到的hash桶是均匀的，因此保证了各个节点所分配的数据是均匀的，但如果节点本身的硬件资源不均等时，如果数据分配是均匀的，反而造成了节点运算的木桶效应。在集群节点安装完成后，配置集群的hashmap。高硬件资源的节点分配更多的hash桶，其次是中硬件资源的节点，最后是低硬件资源的节点，按此方式自动产生hashmap。其中，hashmap是hash值和节点的对应关系。哈希桶通常容量是固定值，即能处理固定次数的冲突。由此可以看出，哈希桶的容量与节点运算处理能力相关。所以，需要根据所述节点的硬件信息为每个节点分配哈希桶。当数据进行分布时，能够保证高硬件资源的节点分配更多的数据，其次是中硬件资源的节点，最后是低硬件资源的节点，按照该种方式避免了节点运算的木桶效应。缺省情况下，各个节点所分配到的hash桶是均匀的。根据hashmap对数据进行分布。即在数据进行分布时，首先计算数据的hash值，根据hashmap中的hash值取得该hash值所对应的节点进行数据的分布。本实施例通过根据分布式数据库集群节点的硬件配置哈希地图，并可灵活的调整节点哈希桶的数量，能够保证高硬件资源的节点分配更多的数据，避免了节点运算的木桶效应。实施例二图2是本专利技术实施例二提供的分布式数据库集群数据的分布的方法的流程示意图，本专利技术实施例以上述实施例为基础，进一步的，所述方法还包括：在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。参见图2，所述分布式数据库集群数据的分布的方法，包括：S210，在集群节点安装时，获取所述节点的硬件信息。S220，配置所述集群的哈希地图HashMap，并根据所述节点的硬件信息为每个节点分配哈本文档来自技高网...

【技术保护点】
一种分布式数据库集群数据的分布方法，其特征在于，包括：在集群节点安装时，获取所述节点的硬件信息；配置所述集群的哈希地图Hash Map，并根据所述节点的硬件信息为每个节点分配哈希桶。

【技术特征摘要】
1.一种分布式数据库集群数据的分布方法，其特征在于，包括：在集群节点安装时，获取所述节点的硬件信息；配置所述集群的哈希地图HashMap，并根据所述节点的硬件信息为每个节点分配哈希桶。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述节点的硬件配置发生变化时，根据所述变化调整所述节点的哈希桶。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述集群增加节点时，建立新的HashMap，并根据所述增加的节点的硬件信息分配哈希桶。4.根据权利要求3所述的方法，其特征在于，所述根据所述增加的节点的硬件信息分配哈希桶，包括：移动变更哈希桶的节点的部分数据至所述增加的节点。5.一种分布式...

【专利技术属性】
技术研发人员：崔维力，武新，张绍勇，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：天津,12