一种均衡的数据分发方法、系统、设备及存储介质技术方案

技术编号:42494751 阅读:27 留言:0更新日期:2024-08-21 13:12
本申请涉及了一种均衡的数据分发方法、系统、设备及存储介质,本方法通过二次分发的方法进行,第一次是根据待分发数据和哈希函数,确定M个哈希值,将M个哈希值分别映射至第一整数数组中,得到了一个较大的数组;第二次分发构建包括N个元素第二整数数组,并构建第二整数数组和第一整数数组中的元素的对应关系,如果节点之间所分发的数据量不均衡,调整第一整数数组中的哈希关系,并根据两个整数数组的元素关系,得到调整的第二整数数组,通过调整数组中元素的映射关系,将较大的数组映射到较小的数组中,且尽量让较小数组中各元素的数据量均衡。本方法能够在哈希散列不能保证输入数据量均衡分布的场景中,让最终分发给节点的数据量尽量均衡。

【技术实现步骤摘要】

本申请实施例涉及数据处理,尤其涉及一种均衡的数据分发方法、系统、设备及存储介质


技术介绍

1、在网络设备中,存在网络数据按照哈希(hash)散列分配至不同的后端线程池中以进行处理。

2、但网络数据的分布往往是不均匀或者数据的分布会发生变化,简单的做hash分发,散列值的分布很难保证均匀。


技术实现思路

1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本公开实施例的主要目的在于提出一种均衡的数据分发方法、系统、设备及存储介质,能够在一定程度上,让最终分发不同节点的数据量尽量均衡。

3、本申请实施例的第一方面提出了一种均衡的数据分发方法,所述方法包括:

4、获取待分发数据和对应待分发的节点数量n;

5、根据所述待分发数据和哈希函数,确定m个哈希值,其中,m能整除n;

6、将m个哈希值分别映射至包括m个元素的第一整数数组中;所述第一整数数组中的元素值是n个节点对应的标签,且每一个节点的标签占所述第一整数数组本文档来自技高网...

【技术保护点】

1.一种均衡的数据分发方法,其特征在于,所述方法包括:

2.根据权利要求1所述的均衡的数据分发方法,其特征在于,在所述将M个哈希值分别映射至包括M个元素的第一整数数组中之后,所述方法还包括:

3.根据权利要求2所述的均衡的数据分发方法,其特征在于,所述检查所述第三整数数组中每一个哈希值对应的数据量,包括:

4.根据权利要求1所述的均衡的数据分发方法,其特征在于,在所述如果N个节点之间所分发的数据量不均衡,根据所述第二整数数组确定数据量最大的第一节点和数据量最小的第二节点之前,所述方法还包括:

5.根据权利要求4所述的均衡的数据分发方法,其特...

【技术特征摘要】

1.一种均衡的数据分发方法,其特征在于,所述方法包括:

2.根据权利要求1所述的均衡的数据分发方法,其特征在于,在所述将m个哈希值分别映射至包括m个元素的第一整数数组中之后,所述方法还包括:

3.根据权利要求2所述的均衡的数据分发方法,其特征在于,所述检查所述第三整数数组中每一个哈希值对应的数据量,包括:

4.根据权利要求1所述的均衡的数据分发方法,其特征在于,在所述如果n个节点之间所分发的数据量不均衡,根据所述第二整数数组确定数据量最大的第一节点和数据量最小的第二节点之前,所述方法还包括:

5.根据权利要求4所述的均衡的数据分发方法,其特征在于,在所述根据调整的所述第二整数数组进行所述待分发数据的分发之后,所述方法还包括:

6.根据权利要求1所述的均衡的数据分发方法,其特征...

【专利技术属性】
技术研发人员:宁子岚
申请(专利权)人:湖南农业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1