Kafka集群的通信方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种Kafka集群的通信方法、装置、电子设备和存储介质。所述Kafka集群部署于k8s集群中的worker节点上，该方法包括：获取目标Kafka集群中目标broker的路由；基于所述目标broker的路由和目标worker节点的静态路由，建立与外部服务的通信连接，所述目标worker节点为所述k8s集群中部署所述目标Kafka集群的worker节点。该方法能够消费故障broker内的消息，避免故障broker内的消息丢失。避免故障broker内的消息丢失。避免故障broker内的消息丢失。

Communication method, device, electronic equipment and storage medium of Kafka cluster

【技术实现步骤摘要】
Kafka集群的通信方法、装置、电子设备和存储介质


[0001]本公开涉及通信
，尤其涉及一种Kafka集群的通信方法、装置、电子设备和存储介质。

技术介绍

[0002]Kafka是一种高吞吐量的分布式发布/订阅消息系统，能够支撑海量数据的数据传递，Kafka因其优良的性能和数据稳定性，得到了广泛的使用。Kubernetes平台又称为k8s，是一种用于自动部署、扩展和管理容器化应用程序的开源系统，可以将Kafka部署在k8s中，供业务方调用。
[0003]现有技术中，Kafka在k8s里面以无状态服务的方式部署，然而，当Kafka某一节点挂掉时，k8s重启后无法连接该节点，此节点上的消息无法消费导致消息丢失。

技术实现思路

[0004]本公开提供了一种Kafka集群的通信方法、装置、电子设备和存储介质，能够消费故障broker内的消息，避免故障broker内的消息丢失。
[0005]第一方面，本公开提供了一种Kafka集群的通信方法，所述Kafka集群部署于k8s集群中的worker节点上；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Kafka集群的通信方法，其特征在于，所述Kafka集群部署于k8s集群中的worker节点上；所述方法，包括：获取目标Kafka集群中目标broker的路由；基于所述目标broker的路由和目标worker节点的静态路由，建立与外部服务的通信连接，所述目标worker节点为所述k8s集群中部署所述目标Kafka集群的worker节点。2.根据权利要求1所述的方法，其特征在于，所述获取目标Kafka集群中目标broker的目标路由之前，还包括：若所述目标Kafka集群与所述外部服务的通信连接中断，确定故障broker的路由；基于所述故障broker的路由，确定所述目标broker的路由。3.根据权利要求2所述的方法，其特征在于，所述基于所述故障broker的路由，确定所述目标broker的路由，包括：基于所述故障broker的路由，从broker路由表中确定所述目标broker的路由，所述broker路由表包括所述目标Kafka集群中的所有broker的路由。4.根据权利要求2所述的方法，其特征在于，所述基于所述故障broker的路由，确定所述目标broker的路由，包括：基于路由生成规则和所述故障broker的路由，生成所述目标broker的路由。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述基于所述目标broker的路由和所述目标worker节点的静态路由，建立与外部服务的通信连接，包括：基于所述目标broker的路由和所述目标worker节点的静态路由，向所述外部服务发送通信连接请求；若接收到所述...

【专利技术属性】
技术研发人员：马俊，李科研，陈孝良，
申请(专利权)人：北京声智科技有限公司，
类型：发明
国别省市：