Kafka集群的热备方法、消息中转站、计算机设备和存储介质技术

本发明专利技术公开一种Kafka集群的热备方法、消息中转站、计算机设备和存储介质，涉及数据处理技术领域。方法应用于消息中转站，包括：接收来自控制台或者命令行的指令。响应于接收到的来自控制台或者命令行的指令为第一指令，确定至少一个源集群与至少一个备用集群。建立第一源集群与至少一个第一备用集群中的每一个第一备用集群之间的连接。以及，实时向至少一个第一备用集群中的每一个第一备用集群传输第一源集群中的数据。本发明专利技术提供了不局限于地域的两地热备，可以实现快速热备以及切换，从而实现双集群之间的平滑切换和数据保护的方法。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其涉及一种kafka集群的热备方法、消息中转站、计算机设备和存储介质。

技术介绍

1、kafka是一种分布式流处理平台，广泛应用于大规模数据集的实时处理和存储。kafka的应用场景往往对高可用性和容灾有较高的要求。

2、为了满足高可用性和容灾的要求，目前的解决方案往往是需要进行手动干预的或者需要较长的切换时间，从而无法在故障发生时提供无缝的切换或者进行快速的恢复。通常kafka集群采用分布式模型部署，具备基本的可扩展性、可靠性、可用性，但是存在一个比较明显的问题：单点故障。

3、虽然分布式集群方案可以提供高可用性，但如果整个城市或地区发生故障(例如，电力中断、网络故障或自然灾害等)，kafka集群可能会受到影响，严重的情况，整个城市的机房或者系统可能都不可用，系统不可用的情况可能会造成当地的业务中断，并带来经济损失，降低了系统的可用性。

4、因此，分布式集群方案并不能完全消除单点故障的风险，当单个区域出现故障时，传统的高可用方式无法满足快速恢复的需求，比如无法提供同城、异地双机房，多机房之间的数本文档来自技高网...

【技术保护点】

1.一种Kafka集群的热备方法，其特征在于，应用于消息中转站，包括：

2.根据权利要求1所述的Kafka集群的热备方法，其特征在于，所述实时向所述至少一个第一备用集群中的每一个第一备用集群传输所述第一源集群中的数据，包括：

3.根据权要求1所述的Kafka集群的热备方法，其特征在于，还包括：

4.根据权利要求3所述的Kafka集群的热备方法，其特征在于，所述第一源集群中待传输的数据包括所述第一源集群的主题中预设的主题的信息。

5.根据权利要求1或3所述的Kafka集群的热备方法，其特征在于，还包括：

6.根据权利要求1或3所述...

【技术特征摘要】

1.一种kafka集群的热备方法，其特征在于，应用于消息中转站，包括：

2.根据权利要求1所述的kafka集群的热备方法，其特征在于，所述实时向所述至少一个第一备用集群中的每一个第一备用集群传输所述第一源集群中的数据，包括：

3.根据权要求1所述的kafka集群的热备方法，其特征在于，还包括：

4.根据权利要求3所述的kafka集群的热备方法，其特征在于，所述第一源集群中待传输的数据包括所述第一源集群的主题中预设的主题的信息。

5.根据权利要求1或3所述的kafka集群的热备方法，其特征在于，还包括：

6.根据权利要求1或3所述的kafka集群的热备方法，其特征在于，还包括：

7....

【专利技术属性】
技术研发人员：李研，何非，许冬勇，白涛，李国华，刘玉宏，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：