集群节点任务分配方法及装置、存储介质及电子设备制造方法及图纸

本公开提供了一种集群节点任务分配方法及装置、存储介质及电子设备，涉及大数据分析搜索技术领域。获取集群中每个节点在预设统计时间段内对单个请求的响应耗时；根据每个节点在预设统计时间段内对多个请求的响应耗时，计算每个节点在预设统计时间段内对单个请求的平均响应耗时；根据每个节点对单个请求的平均响应耗时及集群当前待分配的请求总数，确定集群中每个节点预计分配的请求数；根据集群中每个节点预计分配的请求数生成相应数量的虚拟节点，构建哈希环；根据哈希环，生成集群的节点任务分配方案。本公开基于集群每个节点的性能，应用动态规划算法，动态调整任务的分配机制，保证不同性能节点的负载均衡实现最佳响应。应。应。

【技术实现步骤摘要】
集群节点任务分配方法及装置、存储介质及电子设备


[0001]本公开涉及大数据分析搜索
，尤其涉及一种集群节点任务分配方法及装置、存储介质及电子设备。

技术介绍

[0002]当今高并发和海量数据处理场景越来越多，实现服务的高可用、短延时成为必然，分布式系统因此应运而生。分布式系统就是一批计算机组合起来共同对外提供服务，分布式系统的计算机越多，意味着计算和存储资源就越多，响应速度也越快。虽然分布式系统通过多工作节点解决了单机系统面临的可用性问题，但是它引入了对分布式系统内部工作节点的协调问题。常用的负载均衡策略：一致性哈希算法，在集群中存在不同性能不同状态计算机时无法做到差异性管理分配任务，造成了资源浪费。如何分发查询请求计算请求以实现对于不同计算机的最佳利用，成为了分布式系统必须解决的问题。
[0003]目前业界的相关技术主要有两种，第一种是根据集群中各台服务器的机器配置信息，确定其在服务器集群中的权重值，再按照权重值确定服务器在哈希环中对应的虚拟节点数量，从而达到按性能分配查询请求的效果。但是，单纯记录机器配置不能代表性能。比如在某台机器上部署了多个模块组件，或有历史任务正在执行，则性能会降低而无法对应记录的配置。该方案可能使分布式系统性能下降。第二种是使用信息素数据包记录数据库服务器的机器使用率等信息。使用率越低，信息素浓度越高。根据信息素数据包的权重，生成对应比例的虚拟节点。然而，使用率并不能反映机器的性能，一个使用率高的高性能节点，性能可能优于一个使用率低的普通节点。该方案不能保证最快响应。/>[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开提供一种集群节点任务分配方法及装置、存储介质及电子设备，至少在一定程度上克服由于相关技术中一致性哈希的数据倾斜造成机器负载失衡以及缺乏对不同节点性能的考量造成的资源浪费的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一个方面，提供一种集群节点任务分配方法，包括：获取集群中每个节点在预设统计时间段内对单个请求的响应耗时；根据每个节点在预设统计时间段内对多个请求的响应耗时，计算每个节点在所述预设统计时间段内对单个请求的平均响应耗时；根据每个节点对单个请求的平均响应耗时及集群当前待分配的请求总数，确定集群中每个节点预计分配的请求数；根据集群中每个节点预计分配的请求数生成相应数量的虚拟节点，构建哈希环；根据所述哈希环，生成所述集群的节点任务分配方案，其中，所述任务分配方案用于为集群中每个节点分配请求任务。
[0008]在本公开的一个实施例中，在根据所述哈希环，生成所述集群的节点任务分配方案之后，所述方法还包括：根据节点任务分配方案，将待分配请求的数据文件和内存索引加载到集群中的各个节点。
[0009]在本公开的一个实施例中，在根据节点任务分配方案，将待分配请求的数据文件和内存索引加载到集群中的各个节点之后，所述方法还包括：将所述待分配请求分发到集群中相应的节点。
[0010]在本公开的一个实施例中，所述方法还包括：周期性监测每个节点的平均响应耗时；计算每个节点在当前周期与上一个周期的平均响应耗时变化量；当平均响应耗时变化量超过预设阈值时，根据每个节点当前周期的平均响应耗时及集群当前待分配的请求总数，确定集群中每个节点预计分配的请求数。
[0011]在本公开的一个实施例中，在输入预期请求数量，根据所述每个节点的平均响应耗时，得到每个节点的预计分配请求数量中，包括：
[0012]输入预期请求数量，根据所述每个节点的平均响应耗时，利用动态规划方程，得到每个节点的预计分配请求数量；其中，动态规划方程计算公式为：distribute[n][m]＝distribute[n][m
‑
1]+{local_minmum for
[0013](distribute[n][m
‑
1]+1)
×
cost[n]}，
[0014]其中，n表示一节点，distribute[n][m]表示一节点在第m步被分配的请求个数，distribute[n][m
‑
1]表示一节点在第m步的上一步被分配的请求个数，{local_minmum for(distribute[n][m
‑
1]+1)
×
cost[n]}表示在请求中取响应耗时最低的节点，cost表示一维数组，记录每个节点完成单位请求需要的时间，cost[n]表示一节点完成单位请求的响应耗时。
[0015]在本公开的一个实施例中，应用心跳机制周期性监测每个节点的平均响应耗时。
[0016]在本公开的一个实施例中，在根据节点任务分配方案，将待分配请求的数据文件和内存索引加载到集群中的各个节点之前，还包括：采用Raft算法，保存待分配请求前的数据文件和内存索引。
[0017]根据本公开的另一个方面，提供一种集群节点任务分配装置，其特征在于，包括：
[0018]获取耗时模块，用于获取集群中每个节点在预设统计时间段内对单个请求的响应耗时；
[0019]计算平均耗时模块，用于根据每个节点在预设统计时间段内对多个请求的响应耗时，计算每个节点在所述预设统计时间段内对单个请求的平均响应耗时；
[0020]预计请求数模块，用于根据每个节点对单个请求的平均响应耗时及集群当前待分配的请求总数，确定集群中每个节点预计分配的请求数；
[0021]构建哈希环模块，用于根据集群中每个节点预计分配的请求数生成相应数量的虚拟节点，构建哈希环；
[0022]任务分配模块，用于根据所述哈希环，生成所述集群的节点任务分配方案，其中，所述任务分配方案用于为集群中每个节点分配请求任务。
[0023]根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的集群节点任务分配方法。
[0024]根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的集群节点任务分配方法。
[0025]本公开的实施例所提供的集群节点任务分配方法及装置、存储介质及电子设备，获取集群中每个节点在预设统计时间段内对单个请求的响应耗时；根据每个节点在预设统计时间段内对多个请求的响应耗时，计算每个节点在所述预设统计时间段内对单个请求的平均响应耗时；根据每个节点对单个请求的平均响应耗时及集群当前待分配的请求总数，确定集群中每个节点预计分配的请求数；根据集群中每个节点预计分配的请求数生成相应数量的虚拟节点，构建哈希环；根据所述哈希环，生成所述集群的节点任务分配方案，其中，所述任务分配方案用于为集群中每个节点分配请求任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群节点任务分配方法，其特征在于，包括：获取集群中每个节点在预设统计时间段内对单个请求的响应耗时；根据每个节点在预设统计时间段内对多个请求的响应耗时，计算每个节点在所述预设统计时间段内对单个请求的平均响应耗时；根据每个节点对单个请求的平均响应耗时及集群当前待分配的请求总数，确定集群中每个节点预计分配的请求数；根据集群中每个节点预计分配的请求数生成相应数量的虚拟节点，构建哈希环；根据所述哈希环，生成所述集群的节点任务分配方案，其中，所述任务分配方案用于为集群中每个节点分配请求任务。2.根据权利要求1所述的集群节点任务分配方法，其特征在于，在根据所述哈希环，生成所述集群的节点任务分配方案之后，所述方法还包括：根据节点任务分配方案，将待分配请求的数据文件和内存索引加载到集群中的各个节点。3.根据权利要求2所述的集群节点任务分配方法，其特征在于，在根据节点任务分配方案，将待分配请求的数据文件和内存索引加载到集群中的各个节点之后，所述方法还包括：将所述待分配请求分发到集群中相应的节点。4.根据权利要求1所述的集群节点任务分配方法，其特征在于，所述方法还包括：周期性监测每个节点的平均响应耗时；计算每个节点在当前周期与上一个周期的平均响应耗时变化量；当平均响应耗时变化量超过预设阈值时，根据每个节点当前周期的平均响应耗时及集群当前待分配的请求总数，确定集群中每个节点预计分配的请求数。5.根据权利要求1所述的集群节点任务分配方法，其特征在于，在输入预期请求数量，根据所述每个节点的平均响应耗时，得到每个节点的预计分配请求数量中，包括：输入预期请求数量，根据所述每个节点的平均响应耗时，利用动态规划方程，得到每个节点的预计分配请求数量；其中，动态规划方程计算公式为：distribute[n][m]＝distribute[n][m
‑
1]+{local_minmum for(distribute[n][m
‑
1]+1)
×
cost[n]}，其中，n表示...

【专利技术属性】
技术研发人员：李航，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：