负载均衡方法及装置、存储介质及电子设备制造方法及图纸

技术编号:29156137 阅读:25 留言:0更新日期:2021-07-06 22:55
本公开提供了一种负载均衡方法、负载均衡装置、计算机可读存储介质和电子设备。该方法包括:确定当前负载集群中多个节点的指标使用率;在至少一个所述节点的所述指标使用率达到临界值时,对所述负载集群执行节点聚类,直到所述负载集群中的所有节点的所述指标使用率均低于所述临界值。本公开提供一种解决集群资源中负载失衡的方法。

【技术实现步骤摘要】
负载均衡方法及装置、存储介质及电子设备
本公开涉及负载均衡
,具体而言,涉及一种负载均衡方法、负载均衡装置、计算机可读存储介质和电子设备。
技术介绍
随着企业的业务处理系统复杂度的提高,需要处理的业务量也不断增大,集群成为了业务处理系统中常用的中间件。一个集群通常由一个或多个节点组织在一起,以共同持有整个的数据。由于每个节点服务器信息处理能力的差异性及不确定性,导致偶尔会发生集群资源负载失衡的情况,从而导致集群节点搜索查询延迟,整个集群性能下降的情况发生。
技术实现思路
本公开提供一种负载均衡方法、负载均衡装置、计算机可读存储介质和电子设备,进而提供一种解决集群资源中负载失衡的方法。根据本公开的第一方面,提供了一种负载均衡方法,包括:确定当前负载集群中多个节点的指标使用率;在至少一个所述节点的所述指标使用率达到临界值时,对所述负载集群执行节点聚类,直到所述负载集群中的所有节点的所述指标使用率均低于所述临界值。可选的,对所述负载集群执行节点聚类包括:判断所述多个节点的总数量是否小于扩容触发节点数;如果否,计算任意两个所述节点之间的相似度;根据所述相似度,对所述负载集群中的两个所述节点进行聚类组合成一个新节点,再转入所述确定当前负载集群中多个节点的指标使用率中;如果是,则对所述当前负载集群进行扩容增加节点,并转入所述计算任意两个所述节点之间的相似度中。可选的,根据所述相似度,对所述负载集群中的两个所述节点进行聚类组合成一个新节点包括:将所述相似度最低的两个所述节点聚类组合成一个所述新节点。可选的,计算任意两个所述节点之间的相似度包括:计算任意两个所述节点的基于所述指标使用率的欧几里得距离,根据所述欧几里得距离确定所述相似度。可选的,根据所述欧几里得距离确定所述相似度包括:将规约到(0,1]之间的所述欧几里得距离,确定为所述相似度。可选的,确定当前负载集群中多个节点的指标使用率包括:根据进行聚类的两个所述节点的指标总量和指标使用率,确定所述新节点的指标使用率。可选的,所述指标使用率包括:CPU使用率、内存使用率、磁盘空间使用率、接口使用率和网络流量使用率中的一个或多个。根据本公开的第二方面,提供了一种负载均衡装置,包括:指标使用率确定模块,用于确定当前负载集群中多个节点的指标使用率;节点聚类模块,用于在至少一个所述节点的所述指标使用率达到临界值时,对所述负载集群执行节点聚类,直到所述负载集群中的所有节点的所述指标使用率均低于所述临界值。根据本公开的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述的负载均衡方法。根据本公开的第四方面,提供了一种电子设备,包括:处理器;存储器,用于存储一个或多个程序,当所述一个或多个程序被所述处理器执行时,使得所述处理器实现上述的负载均衡方法。在本公开的一些实施例所提供的技术方案中,在节点的指标使用率达到临界值的时候,通过对负载集群执行节点聚类,可以将两个节点聚类为一个新的节点来对外提供服务,从而达到节点互补的效果,以提高集群的利用率,解决集群资源负载失衡的问题,减少集群节点搜索查询延迟,提高整个集群的性能。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:图1示意性示出了根据本公开的示例性实施方式的负载均衡方法的流程图;图2示意性示出了根据本公开的示例性实施方式的一种负载集群的结构示意图;图3示意性示出了根据本公开的示例性实施方式的一种对集群中的节点进行聚类的结构示意图;图4示意性示出了根据本公开的示例性实施方式的负载均衡方法的步骤流程图;图5示意性示出了根据本公开的示例性实施方式的负载均衡装置的方框图;图6示意性示出了根据本公开的示例性实施方式的电子设备的模块示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,下面所有的术语“第一”、“第二”仅是为了区分的目的,不应作为本公开内容的限制。Elasticsearch(ES)是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。ElasticSearch集群是一个分布式系统,除了集群状态管理以外,其他所有的请求都可以发送到集群内任意一台节点上,这个节点可以自己找到需要转发给哪些节点,并且直接跟这些节点通信。所以,从网络架构及服务配置上来说,构建集群所需要的配置极其简单。通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。一个集群就是由一个或多个节点组织在一起,它们共同持有整个的数据,它将单个索引的数据分片到多个不同分布式物理机器上存储,每个分片可以拥有多个副本,当某个节点某个分片损坏或丢失时可以从副本中恢复。从而可以实现高可用、容错性等,并一起提供索引和搜索功本文档来自技高网...

【技术保护点】
1.一种负载均衡方法,其特征在于,包括:/n确定当前负载集群中多个节点的指标使用率;/n在至少一个所述节点的所述指标使用率达到临界值时,对所述负载集群执行节点聚类,直到所述负载集群中的所有节点的所述指标使用率均低于所述临界值。/n

【技术特征摘要】
1.一种负载均衡方法,其特征在于,包括:
确定当前负载集群中多个节点的指标使用率;
在至少一个所述节点的所述指标使用率达到临界值时,对所述负载集群执行节点聚类,直到所述负载集群中的所有节点的所述指标使用率均低于所述临界值。


2.根据权利要求1所述的方法,其特征在于,对所述负载集群执行节点聚类包括:
判断所述多个节点的总数量是否小于扩容触发节点数;
如果否,计算任意两个所述节点之间的相似度;
根据所述相似度,对所述负载集群中的两个所述节点进行聚类组合成一个新节点,再转入所述确定当前负载集群中多个节点的指标使用率中;
如果是,则对所述当前负载集群进行扩容增加节点,并转入所述计算任意两个所述节点之间的相似度中。


3.根据权利要求2所述的方法,其特征在于,根据所述相似度,对所述负载集群中的两个所述节点进行聚类组合成一个新节点包括:
将所述相似度最低的两个所述节点聚类组合成一个所述新节点。


4.根据权利要求2或3所述的方法,其特征在于,计算任意两个所述节点之间的相似度包括:
计算任意两个所述节点的基于所述指标使用率的欧几里得距离,根据所述欧几里得距离确定所述相似度。


5.根据权利要求4所述的方法,其特征在于,根据...

【专利技术属性】
技术研发人员:杨丽
申请(专利权)人:北京沃东天骏信息技术有限公司北京京东世纪贸易有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1