Kafka双集群实时流量的自动切换方法、装置、电子设备制造方法及图纸

技术编号:37986140 阅读:23 留言:0更新日期:2023-06-30 10:00
本公开涉及计算机技术领域,尤其涉及Kafka双集群实时流量的自动切换方法、装置、电子设备及存储介质。具体实现方案为:生产客户端创建第一数据发布实例和第二数据发布实例,并分别连接主集群和备用集群;生产客户端调用数据总线集群管控平台的接口,获取第一数据发布示例发布各组流量对应的目标发布地址;判断每组流量对应的目标发布地址与主集群的地址是否一致;响应于所有的目标发布地址与主集群的地址不一致,并与备用集群的地址一致,切换至第二数据发布实例向备用集群发布各组流量;响应于至少一个目标发布地址与主集群的地址一致,不执行切换。从而实现Kafka双集群实时流量的快速自动切换,解决切换耗时长的问题。解决切换耗时长的问题。解决切换耗时长的问题。

【技术实现步骤摘要】
Kafka双集群实时流量的自动切换方法、装置、电子设备


[0001]本公开涉及计算机
,尤其涉及Kafka双集群实时流量的自动切换方法、装置、电子设备及存储介质。

技术介绍

[0002]Kafka是一个事件流平台,他结合了三个关键功能,发布和订阅事件流,持久可靠的存储事件流,在事件发生时或者回顾性的处理事件流。这些功能让使用者可以实现端到端的事件流用例。这些功能都是以分布式,高度扩展性,高弹性,高容错和安全的方式提供的。Kafka可以部署在物理机,虚拟机和容器上。
[0003]Kafka目前只能保证单集群内部的稳定性,一旦整个Kafka集群的所有物理机都同时崩溃,比如说整个机房断电,那么Kafka集群将无法对外服务。当Kafka集群崩溃或者想要维护集群时,如果要所有对接系统要切换到备用的集群,由上下游系统共同参与的切换,需要耗费大量的时间。

技术实现思路

[0004]本公开提供了一种Kafka双集群实时流量的自动切换方法、装置、电子设备及存储介质。
[0005]根据本公开的第一方面,提供了一种Kafka双集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Kafka双集群实时流量的自动切换方法,其特征在于,包括:生产客户端创建第一数据发布实例和第二数据发布实例,并分别连接主集群和备用集群;所述生产客户端调用数据总线集群管控平台的接口,获取所述第一数据发布示例发布各组流量对应的目标发布地址;判断每组所述流量对应的所述目标发布地址与所述主集群的地址是否一致;响应于所有的所述目标发布地址与所述主集群的地址不一致,并与所述备用集群的地址一致,切换至所述第二数据发布实例向所述备用集群发布所述各组流量;响应于至少一个所述目标发布地址与所述主集群的地址一致,不执行切换,继续通过所述第一数据发布实例向所述主集群发布所述各组流量。2.根据权利要求1所述的方法,其中,所述生产客户端调用数据总线集群管控平台的接口,获取所述第一数据发布示例发布各组流量对应的目标发布地址包括:创建第一定时任务线程,基于所述第一定时任务线程每隔一预设时间调用所述数据总线集群管控平台的接口,获取所述各组流量对应的所述目标发布地址。3.根据权利要求1所述的方法,还包括:响应于至少一个所述目标发布地址与所述主集群的地址不一致,并且与所述备用集群的地址也不一致,重新创建所述第一数据发布实例和所述第二数据发布实例,并重新获取所述主集群的地址和所述备用集群的地址。4.根据权利要求1所述的方法,其中,所述生产客户端创建第一数据发布实例和第二数据发布实例,并分别连接主集群和备用集群包括:调用所述数据总线集群管控平台的接口,获取所述主集群的地址和所述备用集群的地址;所述第一数据发布实例基于所述主集群的地址与所述主集群建立通信连接,并且所述第二数据发布实例基于所述备用集群的地址与所述备用集群建立通信连接。5.一种Kafka双集群实时流量的自动切换方法,其特征在于,包括:消费客户端创建数据订阅实例,并连接主集群;所述消费客户端调用数据总线集群管控平台的接口,获取所述数据订阅实例订阅各组流量对应的目标订阅地址;判断每组所述流量对应的所述目标订阅地址与所述主集群的地址是否一致;响应于所有的所述目标订阅地址与所述主集群的地址不一致,并与所述备用集群的地址一致,所述消费客户端切换至连接备用集群,从所述备用集群订阅所述各组流量;响应于至少一个所述目标订阅地址与所述主集群的地址一致,不执行切换,继续通过所述数据订阅实例向所述主集群订阅所述各组流量。6.根据权利要求5所述的方法,其中,所述消费客户端调用数据总线集群管控平台的接口,获取所述数据订阅实例订阅各组流量对应的目标订阅地址包括:创建第二定时任务线程,基于所述第二定时任务线程每隔一预设时间调用所述数据总线集群管控平台的接口,获取所述数据订阅实例订阅所述各组流量对应的所述目标订阅地址。7.根据权利要求5所述的方法,其中,所述消费客户端切换至连接备用集群,从所述备用集群订阅所...

【专利技术属性】
技术研发人员:苏博威沈鸿标
申请(专利权)人:中信银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1