【技术实现步骤摘要】
本专利技术涉及数据库，具体提供一种可逐步扩展的集群分片均衡方法、装置及记录介质。
技术介绍
1、在传统的数据库系统中，数据是以集中的方式存储和管理的。然而，随着互联网和大数据时代的到来，传统方法已经无法满足对海量数据存储和访问的需求。这时分布式数据库系统便应运而生。分布式数据库系统将数据分散存储在多台服务器上，并通过网络连接来实现数据的共享和访问。分布式数据库系统可以提供更高的可用性、更高的性能和更好的扩展性，因此被广泛应用于各行各业的领域。
2、现有分布式数据库基于多个计算机集群分片构建，将数据库中的全量数据分布存储在各个计算机集群分片中，但是随着数据库中数据的不断更新，数据库的数据量级不断扩大，就会导致原有计算机集群分片的数量无法满足数据存储的需求，因此，需要进行计算机集群分片的扩展。但是，在计算机集群分片扩展的过程中，需要针对原计算机集群分片中的原始数据进行处理，重新均衡至扩展后的计算机集群分片中，处理耗时长，算力消耗大；另外，重新均衡过程中，原先存储在同一计算机集群分片中的相似数据采用相同哈希算法导致无法有效均衡分布。
3、有鉴于此，特提出本专利技术专利。
技术实现思路
1、为了解决上述技术问题，本专利技术提出一种可逐步扩展的集群分片均衡方法、装置及记录介质，具体地，采用了如下技术方案：
2、在第一方面，本专利技术提供一种可逐步扩展的集群分片均衡方法，包括：
3、根据原始数据的数量q和扩展后的集群分片数量m确定数据桶的数量n；
4、针对原始数据按照数据桶的数量n进行数据分桶，记录每条原始数据的数据桶号bucketid，bucketid＝f(x)，所述的f(x)为原始数据id对数据桶的数量n的第一哈希计算函数；
5、将原始数据均衡至扩展后的m个集群分片，则每条原始数据对应的分片为partionid＝g(x)，所述的g(x)为原始数据的数据桶号bucketid对集群分片的数量m的第二哈希计算函数，所述的g(x)与f(x)选用不同类型的哈希算法函数。
6、作为本专利技术的可选实施方式，本专利技术的一种可逐步扩展的集群分片均衡方法中，所述根据原始数据的数量q和扩展后的集群分片数量m确定数据桶的数量n包括：
7、所述数据桶的数量n的平方大于等于原始数据的数量q，且所述数据桶的数量n能整除所述扩展后的集群分片数量m。
8、作为本专利技术的可选实施方式，本专利技术的一种可逐步扩展的集群分片均衡方法中，所述针对原始数据按照数据桶的数量n进行数据分桶包括：
9、将所述数据桶的数量n分成s级分桶，每级分桶的数量为n/s,每级分桶的数据量为
10、针对原始数据按照s级分桶逐级进行数据分桶，相邻两级分桶选用不同类型且不可化简的第一哈希算法函数f(x)计算待分桶数据的分级分桶桶号。
11、作为本专利技术的可选实施方式，本专利技术的一种可逐步扩展的集群分片均衡方法包括：记录初始数据的末级分桶桶号bucketid，根据末级分桶桶号bucketid将数据均衡至扩展后的m个集群分片。
12、作为本专利技术的可选实施方式，本专利技术的一种可逐步扩展的集群分片均衡方法中，所述s级分桶选用选用不同类型且不可化简的第一哈希算法函数f1(x)和第二哈希算法函数f2(x)，s级分桶按照第一哈希算法函数f1(x)和第二哈希算法函数f2(x)依次交替选用的方式针对原始数据进行逐级分桶处理。
13、作为本专利技术的可选实施方式，本专利技术的一种可逐步扩展的集群分片均衡方法包括：
14、针对原始数据按照数据桶的数量n进行数据分桶，所述数据桶包括一级分桶；
15、记录每条原始数据的数据桶号bucketid＝f(x)＝floor(id0/n)，其中id0为原始数据id；
16、将原始数据均衡至扩展后的m个集群分片，则每条原始数据对应的分片为partionid＝g(x)＝bucketid％m。
17、作为本专利技术的可选实施方式，本专利技术的一种可逐步扩展的集群分片均衡方法中，对于原始数据的数量q为亿级数据，数据桶分级为二级，所述数据桶的桶数n＝18000±w，其中w可人为选择确定。
18、在第二方面，本专利技术提供一种可逐步扩展的集群分片均衡装置，包括：
19、数据分桶模块，根据原始数据的数量q和扩展后的集群分片数量m确定数据桶的数量n，针对原始数据按照数据桶的数量n进行数据分桶，记录每条原始数据的数据桶号bucketid，bucketid＝f(x)，所述的f(x)为原始数据id对数据桶的数量n的第一哈希计算函数；
20、数据均衡模块，将原始数据均衡至扩展后的m个集群分片，则每条原始数据对应的分片为partionid＝g(x)，所述的g(x)为原始数据的数据桶号bucketid对集群分片的数量m的第二哈希计算函数，所述的g(x)与f(x)选用不同类型的哈希算法函数。
21、在第三方面，本专利技术提供电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的一种可逐步扩展的集群分片均衡方法。
22、在第四方面，本专利技术提供一种计算机可读记录介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的一种可逐步扩展的集群分片均衡方法。
23、与现有技术相比，本专利技术的有益效果：
24、本专利技术的一种可逐步扩展的集群分片均衡方法，在进行集群分片扩展时，首先针对原始数据进行分桶，得到每条原始数据的数据桶号bucketid，在进行原始数据均衡至扩展后的m个集群分片时，根据原始数据的数据桶号bucketid分配对应的集群分片。因此，本专利技术的一种可逐步扩展的集群分片均衡方法，在扩展集群分片时，无需对原始数据处理，重新计算每条原始数据对应分片id(partionid)即可，数据均衡过程更加高效。
25、另外，本专利技术的一种可逐步扩展的集群分片均衡方法，在计算每条原始数据的数据桶号bucketid和计算每条原始数据对应的分片id(partionid)时采用不同类型的哈希算法函数f(x)和g(x)，可以使得原始数据重新分配至扩展后的m个集群分片时更加均衡，避免采用同一类型的哈希算法函数造成数据均衡的衰减。
本文档来自技高网...【技术保护点】
1.一种可逐步扩展的集群分片均衡方法，其特征在于，包括：
2.根据权利要求1所述的一种可逐步扩展的集群分片均衡方法，其特征在于，所述根据原始数据的数量Q和扩展后的集群分片数量M确定数据桶的数量N包括：
3.根据权利要求1所述的一种可逐步扩展的集群分片均衡方法，其特征在于，所述针对原始数据按照数据桶的数量N进行数据分桶包括：
4.根据权利要求3所述的一种可逐步扩展的集群分片均衡方法，其特征在于，包括：记录初始数据的末级分桶桶号bucketID，根据末级分桶桶号bucketID将数据均衡至扩展后的M个集群分片。
5.根据权利要求3所述的一种可逐步扩展的集群分片均衡方法，其特征在于，所述S级分桶选用选用不同类型且不可化简的第一哈希算法函数f1(x)和第二哈希算法函数f2(x)，S级分桶按照第一哈希算法函数f1(x)和第二哈希算法函数f2(x)依次交替选用的方式针对原始数据进行逐级分桶处理。
6.根据权利要求1-5任意一项所述的一种可逐步扩展的集群分片均衡方法，其特征在于，包括：
7.根据权利要求1所述的一种可逐步扩
8.一种可逐步扩展的集群分片均衡装置，其特征在于，包括：
9.电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，其特征在于，当所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1-7任意一项所述的一种可逐步扩展的集群分片均衡方法。
10.一种计算机可读记录介质，其特征在于，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如权利要求1-7任意一项所述的一种可逐步扩展的集群分片均衡方法。
...【技术特征摘要】
1.一种可逐步扩展的集群分片均衡方法，其特征在于，包括：
2.根据权利要求1所述的一种可逐步扩展的集群分片均衡方法，其特征在于，所述根据原始数据的数量q和扩展后的集群分片数量m确定数据桶的数量n包括：
3.根据权利要求1所述的一种可逐步扩展的集群分片均衡方法，其特征在于，所述针对原始数据按照数据桶的数量n进行数据分桶包括：
4.根据权利要求3所述的一种可逐步扩展的集群分片均衡方法，其特征在于，包括：记录初始数据的末级分桶桶号bucketid，根据末级分桶桶号bucketid将数据均衡至扩展后的m个集群分片。
5.根据权利要求3所述的一种可逐步扩展的集群分片均衡方法，其特征在于，所述s级分桶选用选用不同类型且不可化简的第一哈希算法函数f1(x)和第二哈希算法函数f2(x)，s级分桶按照第一哈希算法函数f1(x)和第二哈希算法函数f2(x)依次...
【专利技术属性】
技术研发人员：黄鹤南，王岩，程童，王敏，李泽贤，黄康，
申请(专利权)人：北京百舸飞驰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。