【技术实现步骤摘要】
本申请涉及数据处理，具体公开了一种消息中间件kafka的负载均衡方法及相关装置。
技术介绍
1、分布式消息系统是基于消息中间件机制的分布式架构，kafka是目前被应用频率最高的消息中间件之一。kafka中包含多个主题，每个主题对应一种业务类型。各主题下均会设有一个与主题对应的消费组，以及多个用于承载该主题内产生的消息体的分区，每个消费组中包括至少一个消费节点(customer，又称为消费者)。kafka会将主题内的分区分配给消费组中的各消费节点，使这些消费节点对自身持有的分区内的消息体进行消费。
2、实际应用中，当有新的消费节点加入主题，或已持有分区的消费节点离开主题时，即需要对主题下各消费节点持有的分区进行统一回收，并根据主题内的消费节点数量，重新将已回收的分区尽可能的均分到每个消费节点中，以最大限度的降低各消费节点间的消费时间差，从而实现系统的负载均衡。
3、然而上述负载均衡的处理流程中，需要对主题下的所有消费节点持有的分区进行统一回收并重新分配，存在耗时较长的问题。此外，该流程可能会将一些原本就处于负载均衡...
【技术保护点】
1.一种消息中间件Kafka的负载均衡方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述节点更新行为和所述分区数量均值，从所述主题的多个分区中确定目标分区，以及从所述消费节点中确定目标节点，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述分区数量均值和所述各消费节点的持有分区数量确定待处理节点，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一节点确定所述待处理节点，包括：
5.根据权利要求3或4所述的方法，其特征在于，所述对所述待处理节点持有的分区进行...
【技术特征摘要】
1.一种消息中间件kafka的负载均衡方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述节点更新行为和所述分区数量均值，从所述主题的多个分区中确定目标分区，以及从所述消费节点中确定目标节点，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述分区数量均值和所述各消费节点的持有分区数量确定待处理节点，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一节点确定所述待处理节点，包括：
5.根据权利要求3或4所述的方法，其特征在于，所述对所述待处理节点持有的分区进行释放得到所述目标分区，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据所述节点更新行为和所述分区数量均值...
【专利技术属性】
技术研发人员：王超，刘墩建，李建伟，
申请(专利权)人：青岛海信网络科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。