分布式计算系统、负载均衡方法、设备及存储介质技术方案

本申请实施例提供一种分布式计算系统、负载均衡方法、设备及存储介质。在本申请实施例中，针对多种维度的负载均衡策略，通过使用各负载均衡策略进行模拟负载均衡，预测负载均衡策略实施后的工作集群的负载拓扑关系；根据预测出的工作集群的负载拓扑关系，选择合适的负载均衡策略进行执行，由于预期了工作集群的负载情况，因此，有助于使实际执行的负载均衡策略的负载均衡的有效性得到保障，有助于提高负载均衡效果，进而提高分布式计算系统的性能。进而提高分布式计算系统的性能。进而提高分布式计算系统的性能。

【技术实现步骤摘要】
分布式计算系统、负载均衡方法、设备及存储介质


[0001]本申请涉及云计算
，尤其涉及一种分布式计算系统、负载均衡方法、设备及存储介质。

技术介绍

[0002]随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，提高计算效率。
[0003]对于分布式计算系统，任务调度是一个基本且具有挑战性的问题。其中，任务调度问题是指：给定一组任务和若干可并行执行这些任务的计算节点，寻找一个能够将这组任务有效调度到各计算节点进行计算的方法，以获得更好的任务完成时间和资源利用率等。而负载均衡（Load Balance，LB）是任务调度时需要考虑的关键因素，也是优化分布式计算系统性能的关键。

技术实现思路

[0004]本申请的多个方面提供一种分布式计算系统、负载均衡方法、设备及存储介质，用以提高负载均衡的处理效果，提高分布式计算系统性能。
[0005]本申请实施例提供一种分布式计算系统，包括：管控节点和第一工作集群；所述第一工作集群包括：多个工作节点；每个工作节点对应至少一个分区，用于执行对应分区接收到的请求；所述管控节点，用于获取所述第一工作集群的第一负载拓扑关系；根据所述第一负载拓扑关系，预测使用预设的多种均衡策略对所述第一工作集群进行模拟负载均衡后的第二工作集群的第二负载拓扑关系；根据所述第二负载拓扑关系，从所述多种均衡策略中选择目标均衡策略；根据所述目标均衡策略对所述分布式计算系统进行负载均衡。
[0006]本申请实施例还提供一种负载均衡方法，包括：获取分布式计算系统的第一工作集群的第一负载拓扑关系；根据所述第一负载拓扑关系，预测使用预设的多种均衡策略对所述第一工作集群进行负载均衡后的第二工作集群的第二负载拓扑关系；根据所述第二负载拓扑关系，从所述多种均衡策略中选择目标均衡策略；根据所述目标均衡策略对所述分布式计算系统进行负载均衡。
[0007]本申请实施例还提供一种计算设备，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序；所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行上述负载均衡方法中的步骤。
[0008]本申请实施例还提供一种存储有计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行上述负载均衡方法中
的步骤。
[0009]在本申请实施例中，针对多种维度的负载均衡策略，通过使用各负载均衡策略进行模拟负载均衡，预测负载均衡策略实施后的工作集群的负载拓扑关系；根据预测出的工作集群的负载拓扑关系，选择合适的负载均衡策略进行执行，由于预期了工作集群的负载情况，因此，有助于使实际执行的负载均衡策略的负载均衡的有效性得到保障，有助于提高负载均衡效果，进而提高分布式计算系统的性能。
附图说明
[0010]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的分布式计算系统的结构示意图；图2为本申请实施例提供的分区区间示意图；图3和图4为本申请实施例提供的分布式计算系统的资源调度过程示意图；图5为本申请实施例提供的单机热点示意图；图6为本申请实施例提供的分布式计算系统扩容示意图；图7a和图7b为本申请实施例提供的分布式计算系统的负载均衡过程示意图；图8为本申请实施例提供的设置工作节点的属性的负载均衡方式示意图；图9为本申请实施例提供的工作节点扩容的负载均衡方式示意图；图10为本申请实施例提供的工作节点缩容的负载均衡方式示意图；图11为本申请实施例提供的热点分区迁移策略的负载均衡方式示意图；图12为本申请实施例提供的热点分区分裂策略的负载均衡方式示意图；图13为本申请实施例提供的冷点分区合并策略的负载均衡方式示意图；图14为本申请实施例提供的热点分区的热点用户迁移策略的负载均衡方式示意图；图15为本申请实施例提供的热点分区的热点用户分裂策略的负载均衡方式示意图；图16为本申请实施例提供的冷点用户合并策略的负载均衡方式示意图；图17为本申请实施例提供的热点分区分裂策略中热点分区的分裂点确定方式示意图；图18为本申请实施例提供的负载均衡方法的流程示意图；图19为本申请实施例提供的计算设备的结构示意图。
具体实施方式
[0011]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0012]在本申请实施例中，为了提高分布式计算系统的负载均衡效果，针对多种维度的负载均衡策略，通过使用各负载均衡策略进行模拟负载均衡，预测负载均衡策略实施后的
工作集群的负载拓扑关系；根据预测出的工作集群的负载拓扑关系，选择合适的负载均衡策略进行执行，由于预期了工作集群的负载情况，因此，有助于使实际执行的负载均衡策略的负载均衡的有效性得到保障，有助于提高负载均衡效果，进而提高分布式计算系统的性能。
[0013]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0014]应注意到：相同的标号在下面的附图以及实施例中表示同一物体，因此，一旦某一物体在一个附图或实施例中被定义，则在随后的附图和实施例中不需要对其进行进一步讨论。
[0015]图1
‑
图3为本申请实施例提供的分布式计算系统的结构示意图。结合图1
‑
图3所示，分布式计算系统包括：管控节点10和工作集群20。其中，工作集群20是指由多个工作节点（workers）201组成的计算集群。
[0016]在本实施例中，管控节点10是指可以进行工作节点管理，可响应用户端30的服务请求，通过调度工作节点201为用户提供计算服务的计算机设备，一般具备承担服务并保障服务的能力。管控节点10可以为单一服务器设备，也可以云化的服务器阵列，或者为云化的服务器阵列中运行的虚拟机（Virtual Machine，VM）、容器等。另外，服务端设备也可以指具备相应服务能力的其他计算设备，例如电脑等终端设备（运行服务程序）等。在本实施例中，管控节点10可部署于云端，例如边缘云系统的中心云中。
[0017]工作节点201是指提供计算资源的计算机设备。关于工作节点201的具体实现形态，可参见管控节点10的实现形态，在此不再赘述。在本实施例中，工作节点201除了提供计算资源之外，还可提供其他硬件资源和软件资源。其中，硬件资源可包括：处理器等计算资源，内存、磁盘等存储资源。其中，处理器可以为 CPU、GPU、FPGA 等等。软件资源可包括：带宽、网段、网卡配置等网络资源以及操作系统等。
[0018]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式计算系统，其特征在于，包括：管控节点和第一工作集群；所述第一工作集群包括：多个工作节点；每个工作节点对应至少一个分区，用于执行对应分区接收到的请求；所述管控节点，用于获取所述第一工作集群的第一负载拓扑关系；根据所述第一负载拓扑关系，预测使用预设的多种均衡策略对所述第一工作集群进行模拟负载均衡后的第二工作集群的第二负载拓扑关系；根据所述第二负载拓扑关系，从所述多种均衡策略中选择目标均衡策略；根据所述目标均衡策略对所述分布式计算系统进行负载均衡。2.一种负载均衡方法，其特征在于，包括：获取分布式计算系统的第一工作集群的第一负载拓扑关系；根据所述第一负载拓扑关系，预测使用预设的多种均衡策略对所述第一工作集群进行负载均衡后的第二工作集群的第二负载拓扑关系；根据所述第二负载拓扑关系，从所述多种均衡策略中选择目标均衡策略；根据所述目标均衡策略对所述分布式计算系统进行负载均衡。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一负载拓扑关系，预测使用预设的多种均衡策略对所述第一工作集群进行模拟负载均衡后的第二工作集群的第二负载拓扑关系，包括：根据所述第一负载拓扑关系，确定需要负载均衡的待均衡对象；所述待均衡对象为所述第一工作集群中的工作节点、分区或访问用户；根据所述第一负载拓扑关系，使用所述多种均衡策略对所述待均衡对象进行模拟均衡负载；预测模拟均衡负载后的第二工作集群中工作节点、分区及访问用户的负载性能参数和请求性能参数，以得到所述第二负载拓扑关系。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一负载拓扑关系，使用所述多种均衡策略对所述待均衡对象进行模拟均衡负载，包括：针对第一均衡策略，根据所述第一负载拓扑关系，从所述第一工作集群中选择负载性能参数满足设定要求的第一工作节点；使用所述第一均衡策略，对所述待均衡对象的负载在所述待均衡对象对应的第二工作节点和所述第一工作节点之间进行模拟均衡负载。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一负载拓扑关系，从所述第一工作集群中选择负载性能参数满足设定要求的第一工作节点，包括：从所述第一负载拓扑关系中，获取所述第一工作集群中工作节点的访问流量和所述待均衡对象的访问流量；根据所述待均衡对象的访问流量和所述第一工作集群中工作节点的访问流量，预测使用所述第一均衡策略对所述待均衡对象在所述第二工作节点和所述第一工作集群中工作节点之间进行模拟均衡负载后，所述第一工作集群中工作节点的第二负载性能参数；根据所述第一工作集群中工作节点的第二负载性能参数，从所述第一工作集群中选择负载性能参数满足设定要求的第一工作节点。6.根据权利要求5所述的方法，其特征在于，所述根据所述待均衡对象的访问流量和所述第一工作集群中工作节点的访问流量，预测对所述待均衡对象在所述第二工作节点和所
述第一工作集群中工作节点之间进行模拟均衡负载后，所述第一工作集群中工作节点的第二负载性能参数，包括：根据所述待均衡对象的访问流量和所述第一工作集群中工作节点的第一访问流量，预测使用所述第一均衡策略对所述待均衡对象在所述第二工作节点和所述第一工作集群中工作节点之间进行模拟均衡负载后，所述第一工作集群中工作节点的第二访问流量；根据所述第一工作集群中工作节点的第二访问流量及预设的访问流量与负载性能参数之间的函数关系，确定使用所述第一均衡策略模拟均衡后所述第一工作集群中工作节点的第二负载性能参数。7.根据权利要求4所述的方法，其特征在于，所述预测模拟均衡负载后的第二工作集群中工作节点、分区及访问用户的负载性能参数和请求性能参数，以得到所述第二负载拓扑关系，包括：从所述第一负载拓扑关系中，获取所述待均衡对象和所述第一工作节点的负载性能参数和请求性能参数；根据所述待均衡对象和所述第一工作节点的负载性能参数和请求性能参数，预测使用第一均衡策略模拟均衡负载后所述第一工作节点及所述第二工作节点的负载性能参数和请求性能参数，作为所述第...

【专利技术属性】
技术研发人员：黄刚，赵庆杰，王霄霄，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：