负载均衡的处理方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了负载均衡的处理方法、装置、电子设备及存储介质，涉及集群的数据处理、分布式传输处理、负载处理领域。具体实现方案为：根据分布式传输中至少包括各节点硬盘容量负载及输入输出(IO)负载的多维度负载，得到各节点的负载值；响应于负载均衡的处理，根据所述负载值调度各节点内硬盘所承载逻辑分区的迁移。采用本申请，可以提高动态调度的处理速度及基于负载值进行动态调度的准确性。

【技术实现步骤摘要】
负载均衡的处理方法、装置、电子设备及存储介质
本申请涉及数据处理领域。本申请尤其涉及集群的数据处理、分布式传输处理、负载处理领域、可应用于与负载均衡相关的负载场景诊断、负载调度等领域。
技术介绍
随着用户对数据处理速度的要求越来越高，将多个工作任务分摊到集群或分布式传输中的多个操作单元上进行处理成为常态。即将负载(即多个工作任务)进行平衡、分摊到多个节点(即操作单元)上进行执行，例如借助网络传输的视频下载及解析、企业架构中涉及的数据传输等工作任务等，通过负载均衡，借助集群或分布式传输中的多个节点来共同完成该多个工作任务。然而，现有的负载均衡，多数是针对单一维度的指标来实现负载计算及负载相应的调度处理，从而导致调度的处理速度及准确性都不高。
技术实现思路
本申请提供了一种负载均衡的处理方法、装置、电子设备及存储介质。根据本申请的一方面，提供了一种负载均衡的处理方法，包括：根据分布式传输中至少包括各节点硬盘容量负载及输入输出(IO)负载的多维度负载，得到各节点的负载值；响应于负载均衡的处理，根据所述负载值调度各节点内硬盘所承载逻辑分区的迁移。根据本申请的另一方面，提供了一种负载均衡的处理装置，包括：负载运算模块，用于根据分布式传输中至少包括各节点硬盘容量负载及IO负载的多维度负载，得到各节点的负载值；负载均衡处理模块，用于响应于负载均衡的处理，根据所述负载值调度各节点内硬盘所承载逻辑分区的迁移。根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任意一实施例所提供的方法。根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。采用本申请，可以根据分布式传输中至少包括各节点硬盘容量负载及IO负载的多维度负载，得到各节点的负载值；响应于负载均衡的处理，根据所述负载值调度各节点内硬盘所承载逻辑分区的迁移。由于是基于至少包括各节点硬盘容量负载及输入输出负载的多维度负载得到的负载值，因此，根据该负载值进行的动态调度，不仅可以实现负载均衡及动态调度，而且，可以提高动态调度的处理速度及基于负载值进行动态调度的准确性。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请实施例的负载均衡的处理方法的流程示意图；图2是根据本申请实施例的负载均衡的处理方法的流程示意图；图3是根据本申请实施例的应用示例中进行动态调度的示意图；图4是根据本申请实施例的负载均衡的处理装置的组成结构示意图；图5是用来实现本申请实施例的负载均衡的处理方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。相关技术中，分布式传输负载均衡方案，可以是指在分布式传输系统中分片存储(Partition)如何在集群代理(Broker)节点之间分配的策略。在实际业务中需要均衡Broker节点的负载来提高系统的可用性。可以采用如下三种方式解决负载均衡问题。(1)轮询调度(Round-Robin)：通过将N个Broker和待分配的I个Partition排序，将第i号Partition分配到第i％N号Broker上，实际中为了避免头部Broker相对总体分配过多的Partition，每分配Partition先随机挑选一个Broker作为0号位开始进行取模计算。这种方案只是力求Parition个数的分布均匀，很容易造成数据热点，并且覆盖不了集群异构带来的Broker性能差异场景。(2)一致性哈希：使用一致性哈希来约定Partition调度关系。一致性哈希可以理解为一个函数，Y＝ConsistentHash(X)，任意的X取值都能映射为一个固定区间内的唯一数值Y，简单来说，一致性哈希将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为0～2^32-1(即哈希值是一个32位无符号整形)，该一致性哈希处理即为：将任意的X取值映射到0～2^32-1次方的数值空间，可以将这个空间想象成一个首(0)尾(2^32-1)相接的圆环。整个空间按顺时针方向组织。“0”和“2^32-1”在零点中方向重合。然后将各个Broker使用Hash进行一个哈希，具体可以选择Broker的ip或主机名作为关键字进行哈希，这样每台Broker就能确定其在哈希环上的位置。之后，可以使用如下算法定位Partition访问到相应Broker，描述如下：将Partitionkey使用相同的函数Hash计算出哈希值，并确定此数据在环上的位置，从此位置沿环顺时针“行走”，第一台遇到的Broker就是其应该定位到的服务器。实际上，为了使圆环划分的更加均匀和节点上下线更加稳定，每个Broker节点将根据自身性能对应不同的多个虚拟节点以力求均衡。使用一致性哈希的调度方式，解决了上述方案(1)中集群异构场景问题，但是其他问题依旧存在，各Partition在调度中的权重是一样的，并没有考虑Partition其他指标，例如每秒请求数(QPS，QueryPerSecond)和流量的差异，且一致性哈希算法的映射关系，用户无法干预和调节。(3)动态调度：开发一种分布式传输系统，如可以针对流式数据处理的数据分发平台(DataHub)采用该调度策略，可以根据Broker实际负载计算出一个本文档来自技高网...

【技术保护点】
1.一种负载均衡的处理方法，所述方法包括：/n根据分布式传输中至少包括各节点硬盘容量负载及输入输出IO负载的多维度负载，得到各节点的负载值；/n响应于负载均衡的处理，根据所述负载值调度各节点内硬盘所承载逻辑分区的迁移。/n

【技术特征摘要】
1.一种负载均衡的处理方法，所述方法包括：
根据分布式传输中至少包括各节点硬盘容量负载及输入输出IO负载的多维度负载，得到各节点的负载值；
响应于负载均衡的处理，根据所述负载值调度各节点内硬盘所承载逻辑分区的迁移。


2.根据权利要求1所述的方法，其中，所述根据分布式传输中至少包括各节点硬盘容量负载及IO负载的多维度负载，得到各节点的负载值，包括：
根据所述各节点硬盘容量负载及IO负载之间的最大值，得到所述负载值。


3.根据权利要求2所述的方法，其中，所述各节点硬盘容量负载及IO负载，通过包括：硬盘负载、网络负载、中央处理器CPU负载、内存负载、延迟负载中至少两方面的指标进行评估；
所述根据所述各节点硬盘容量负载及IO负载之间的最大值，得到所述负载值，包括：
根据所述硬盘负载、所述网络负载、所述CPU负载、所述内存负载、所述延迟负载中至少两方面的指标中的最大值，得到所述负载值。


4.根据权利要求1-3中任一项所述的方法，其中，所述响应于负载均衡的处理，还包括：
根据所述负载值对当前的负载状态进行检测，得到检测结果。


5.根据权利要求4所述的方法，其中，根据所述负载值对当前的负载状态进行检测，得到检测结果，包括以下一种或多种方式：
方式一：将所述负载值与当前节点内硬盘所承载逻辑分区的处理延迟情况进行比对，以实现所述检测，得到所述当前节点是否为慢节点的检测结果；
方式二：针对所述负载值取决于硬盘容量负载的情况，比对各节点内硬盘容量负载以得到负载差值，根据所述负载差值实现所述检测，得到各节点硬盘负载不均的检测结果；
方式三：将所述负载值与当前节点内硬盘所承载逻辑分区的流量及处理延迟情况进行比对，以实现所述检测，得到所述当前节点是否存在故障硬盘的检测结果；
方式四：将所述负载值与当前节点内硬盘所承载逻辑分区的流量进行比对，以实现所述检测，得到所述当前节点的硬盘是否存在高吞吐逻辑分区的检测结果；
方式五：根据所述负载值得到各节点负载的方差，根据所述各节点负载的方差与第一阈值范围的比对，以实现所述检测，得到所述各节点之间是否存在负载不均衡的检测结果；
方式六：根据所述负载值得到平均负载，根据所述平均负载与第二阈值范围的比对，以实现所述检测，得到所述各节点之间是否存在过载且需要扩容的检测结果。


6.根据权利要求1-3中任一项所述的方法，其中，所述响应于负载均衡的处理，根据所述负载值调度各节点内硬盘所承载逻辑分区的迁移，包括：
将所述各节点内硬盘所承载逻辑分区，从基于所述负载值检测得到的负载值高的源节点向负载低的目的节点进行迁移。


7.根据权利要6所述的方法，其中，所述将所述各节点内硬盘所承载逻辑分区，从基于所述负载值检测得到的负载值高的源节点向负载低的目的节点进行迁移，包括以下一种或多种方式：
方式一：根据所述负载值得到所述源节点期望迁出逻辑分区的第一流量、以及所述目的节点支持迁入逻辑分区的第二流量，根据所述第一流量及所述第二流量得到流量迁移值，以根据所述流量迁移值实现所述迁移；
方式二：根据所述负载值得到所述源节点当前期望迁出逻辑分区的目标流量，若已选定所述目的节点支持迁入的逻辑分区流量符合所述目标流量，则支持根据所述目标流量实现所述迁移；
方式三：根据所述负载值对所述源节点中至少一个逻辑分区进行流量的分布式控制，设置所述至少一个逻辑分区属于同一个数据存储集合的阈值上限，根据所述阈值上限控制所述至少一个逻辑分区在所迁入的至少一个所述目的节点的流量分布，以实现所述迁移；
方式四：根据所述负载值结合负载均衡的分布式控制，在满足所述负载均衡的分布式控制情况下得到所述源节点中至少一个逻辑分区集中与当前期望迁出逻辑分区的目标流量在负载上最接近的目标逻辑分区集，将所述目标逻辑分区集作为期望迁出的逻辑分区集，以实现所述迁移。


8.一种负载均衡的处理装置，所述装置包括：
负载运算模块，用于根据分布式传输中至少包括各节点硬盘容量负载及输入输出IO负载的多维度负载，得到...

【专利技术属性】
技术研发人员：李树毫，谢维柱，邢越，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11