Kafka双集群实时流量的自动切换方法、装置、电子设备制造方法及图纸

本公开涉及计算机技术领域，尤其涉及Kafka双集群实时流量的自动切换方法、装置、电子设备及存储介质。具体实现方案为：生产客户端创建第一数据发布实例和第二数据发布实例，并分别连接主集群和备用集群；生产客户端调用数据总线集群管控平台的接口，获取第一数据发布示例发布各组流量对应的目标发布地址；判断每组流量对应的目标发布地址与主集群的地址是否一致；响应于所有的目标发布地址与主集群的地址不一致，并与备用集群的地址一致，切换至第二数据发布实例向备用集群发布各组流量；响应于至少一个目标发布地址与主集群的地址一致，不执行切换。从而实现Kafka双集群实时流量的快速自动切换，解决切换耗时长的问题。解决切换耗时长的问题。解决切换耗时长的问题。

【技术实现步骤摘要】
Kafka双集群实时流量的自动切换方法、装置、电子设备


[0001]本公开涉及计算机
，尤其涉及Kafka双集群实时流量的自动切换方法、装置、电子设备及存储介质。

技术介绍

[0002]Kafka是一个事件流平台，他结合了三个关键功能，发布和订阅事件流，持久可靠的存储事件流，在事件发生时或者回顾性的处理事件流。这些功能让使用者可以实现端到端的事件流用例。这些功能都是以分布式，高度扩展性，高弹性，高容错和安全的方式提供的。Kafka可以部署在物理机，虚拟机和容器上。
[0003]Kafka目前只能保证单集群内部的稳定性，一旦整个Kafka集群的所有物理机都同时崩溃，比如说整个机房断电，那么Kafka集群将无法对外服务。当Kafka集群崩溃或者想要维护集群时，如果要所有对接系统要切换到备用的集群，由上下游系统共同参与的切换，需要耗费大量的时间。

技术实现思路

[0004]本公开提供了一种Kafka双集群实时流量的自动切换方法、装置、电子设备及存储介质。
[0005]根据本公开的第一方面，提供了一种Kafka双集群实时流量的自动切换方法，包括：
[0006]生产客户端创建第一数据发布实例和第二数据发布实例，并分别连接主集群和备用集群；
[0007]所述生产客户端调用数据总线集群管控平台的接口，获取所述第一数据发布示例发布各组流量对应的目标发布地址；
[0008]判断每组所述流量对应的所述目标发布地址与所述主集群的地址是否一致；
[0009]响应于所有的所述目标发布地址与所述主集群的地址不一致，并与所述备用集群的地址一致，切换至所述第二数据发布实例向所述备用集群发布所述各组流量；
[0010]响应于至少一个所述目标发布地址与所述主集群的地址一致，不执行切换，继续通过所述第一数据发布实例向所述主集群发布所述各组流量。。
[0011]根据本公开的第二方面，提供了一种Kafka双集群实时流量的自动切换方法，包括：
[0012]消费客户端创建数据订阅实例，并连接主集群；
[0013]所述消费客户端调用数据总线集群管控平台的接口，获取所述数据订阅实例订阅各组流量对应的目标订阅地址；
[0014]判断每组所述流量对应的所述目标订阅地址与所述主集群的地址是否一致；
[0015]响应于所有的所述目标订阅地址与所述主集群的地址不一致，并与所述备用集群的地址一致，所述消费客户端切换至连接备用集群，从所述备用集群订阅所述各组流量；
[0016]响应于至少一个所述目标订阅地址与所述主集群的地址一致，不执行切换，继续通过所述数据订阅实例向所述主集群订阅所述各组流量。
[0017]根据本公开的第三方面，提供了一种Kafka双集群实时流量的自动切换装置，包括：
[0018]第一创建模块，被配置为创建第一数据发布实例和第二数据发布实例，并分别连接主集群和备用集群；
[0019]第一获取模块，被配置为调用数据总线集群管控平台的接口，获取所述第一数据发布示例发布各组流量对应的目标发布地址；
[0020]第一判断模块，被配置为判断每组所述流量对应的所述目标发布地址与所述主集群的地址是否一致；
[0021]第一执行模块，被配置为响应于所有的所述目标发布地址与所述主集群的地址不一致，并与所述备用集群的地址一致，切换至所述第二数据发布实例向所述备用集群发布所述各组流量；
[0022]所述第一执行模块响应于至少一个所述目标发布地址与所述主集群的地址一致，不执行切换，继续通过所述第一数据发布实例向所述主集群发布所述各组流量。
[0023]根据本公开的第四方面，提供了一种Kafka双集群实时流量的自动切换装置，包括：
[0024]第二创建模块，被配置为创建数据订阅实例，并连接主集群；
[0025]第二获取模块，被配置为调用数据总线集群管控平台的接口，获取所述数据订阅实例订阅各组流量对应的目标订阅地址；
[0026]第二判断模块，被配置为判断每组所述流量对应的所述目标订阅地址与所述主集群的地址是否一致；
[0027]第二执行模块，被配置为响应于所有的所述目标订阅地址与所述主集群的地址不一致，并与所述备用集群的地址一致，所述消费客户端切换至连接备用集群，从所述备用集群订阅所述各组流量；
[0028]所述第二执行模块响应于至少一个所述目标订阅地址与所述主集群的地址一致，不执行切换，继续通过所述数据订阅实例向所述主集群订阅所述各组流量。
[0029]根据本公开的第五方面，提供了一种电子设备，包括：
[0030]至少一个处理器；以及
[0031]与所述至少一个处理器通信连接的存储器；其中，
[0032]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述技术方案中任一项所述的方法。
[0033]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述技术方案中任一项所述的方法。
[0034]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述技术方案中任一项所述的方法。
[0035]本公开提供了Kafka双集群实时流量的自动切换方法、装置、电子设备及存储介质，生产客户端通过实时获取各组流量的目标发布地址，以及消费客户端实时获取各组流量的目标订阅地址，判断各组流量是否连接主集群地址，若所有流量均与主集群地址不一
致，表示主集群出现异常，从而自动切换到备用集群，从而实现流量的快速自动切换方法，解决现有技术中切换耗时长的问题。
[0036]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0037]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0038]图1是本公开实施例中生产客户端自动切换方法的步骤示意图；
[0039]图2是本公开实施例中生产客户端自动切换方法的原理示意图；
[0040]图3是本公开实施例中消费客户端自动切换方法的步骤示意图；
[0041]图4是本公开实施例中消费客户端自动切换方法的原理示意图；
[0042]图5是本公开实施例中Kafka双集群实时流量自动切换方法的整体原理示意图；
[0043]图6是本公开实施例中生产客户端自动切换装置的原理框图；
[0044]图7是本公开实施例中消费客户端自动切换装置的原理框图。
具体实施方式
[0045]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Kafka双集群实时流量的自动切换方法，其特征在于，包括：生产客户端创建第一数据发布实例和第二数据发布实例，并分别连接主集群和备用集群；所述生产客户端调用数据总线集群管控平台的接口，获取所述第一数据发布示例发布各组流量对应的目标发布地址；判断每组所述流量对应的所述目标发布地址与所述主集群的地址是否一致；响应于所有的所述目标发布地址与所述主集群的地址不一致，并与所述备用集群的地址一致，切换至所述第二数据发布实例向所述备用集群发布所述各组流量；响应于至少一个所述目标发布地址与所述主集群的地址一致，不执行切换，继续通过所述第一数据发布实例向所述主集群发布所述各组流量。2.根据权利要求1所述的方法，其中，所述生产客户端调用数据总线集群管控平台的接口，获取所述第一数据发布示例发布各组流量对应的目标发布地址包括：创建第一定时任务线程，基于所述第一定时任务线程每隔一预设时间调用所述数据总线集群管控平台的接口，获取所述各组流量对应的所述目标发布地址。3.根据权利要求1所述的方法，还包括：响应于至少一个所述目标发布地址与所述主集群的地址不一致，并且与所述备用集群的地址也不一致，重新创建所述第一数据发布实例和所述第二数据发布实例，并重新获取所述主集群的地址和所述备用集群的地址。4.根据权利要求1所述的方法，其中，所述生产客户端创建第一数据发布实例和第二数据发布实例，并分别连接主集群和备用集群包括：调用所述数据总线集群管控平台的接口，获取所述主集群的地址和所述备用集群的地址；所述第一数据发布实例基于所述主集群的地址与所述主集群建立通信连接，并且所述第二数据发布实例基于所述备用集群的地址与所述备用集群建立通信连接。5.一种Kafka双集群实时流量的自动切换方法，其特征在于，包括：消费客户端创建数据订阅实例，并连接主集群；所述消费客户端调用数据总线集群管控平台的接口，获取所述数据订阅实例订阅各组流量对应的目标订阅地址；判断每组所述流量对应的所述目标订阅地址与所述主集群的地址是否一致；响应于所有的所述目标订阅地址与所述主集群的地址不一致，并与所述备用集群的地址一致，所述消费客户端切换至连接备用集群，从所述备用集群订阅所述各组流量；响应于至少一个所述目标订阅地址与所述主集群的地址一致，不执行切换，继续通过所述数据订阅实例向所述主集群订阅所述各组流量。6.根据权利要求5所述的方法，其中，所述消费客户端调用数据总线集群管控平台的接口，获取所述数据订阅实例订阅各组流量对应的目标订阅地址包括：创建第二定时任务线程，基于所述第二定时任务线程每隔一预设时间调用所述数据总线集群管控平台的接口，获取所述数据订阅实例订阅所述各组流量对应的所述目标订阅地址。7.根据权利要求5所述的方法，其中，所述消费客户端切换至连接备用集群，从所述备用集群订阅所...

【专利技术属性】
技术研发人员：苏博威，沈鸿标，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：