一种基于异地多活卡夫卡集群的业务处理系统及方法技术方案

技术编号:40660203 阅读:23 留言:0更新日期:2024-03-18 18:52
本申请实施例公开了一种基于异地多活卡夫卡集群的业务处理系统及方法。本申请实施例提供的技术方案,通过卡夫卡主集群和卡夫卡从集群写入第一机房生产的业务消息;第一业务消费节点在检测到第一机房未开启消费业务实例的情况下,启动消费业务实例处理卡夫卡主集群和卡夫卡从集群的业务消息;第二业务消费节点在未检测到处理卡夫卡主集群和卡夫卡从集群的消费业务实例的情况下,基于第二机房开启的消费业务实例处理卡夫卡主集群和卡夫卡从集群的业务消息。采用上述技术手段,可以保障业务消费异常的平滑容灾处理,提升业务处理系统的可用性和可靠性。

【技术实现步骤摘要】

本申请实施例涉及分布式服务,尤其涉及一种基于异地多活卡夫卡集群的业务处理系统及方法


技术介绍

1、目前,在进行后台服务部署时,idc(互联网数据中心)机房会采用异地多活架构,以提供跨区域的容灾能力,如两地三中心模式和三地五中心模式。以两地三中心模式为例,idc机房分别坐落在a跟b两地,两地时延在几十毫秒级别,而且跨区域的网络传输经常会有波动,如果两个机房只部署一个跨异地机房的卡夫卡集群会造成严重的性能问题,因此一般是在两地分别部署一套卡夫卡集群实现异地多活。在使用卡夫卡集群处理业务时,两地机房会把业务消息发送至本机房内的卡夫卡集群,并通过本机房的业务消费节点处理本机房卡夫卡集群的消息。

2、但是,相关的卡夫卡集群部署模式在本地机房出现故障或机房内业务消费节点异常的时候,本机房的卡夫卡集群可能会积压大量未消费的业务消息,这些消息需要等到机房或者业务消费节点恢复之后才能完成处理,以此会影响系统的业务处理效率,导致数据服务效果偏差。


技术实现思路

1、本申请实施例提供一种基于异地多活卡夫卡集群的业务处本文档来自技高网...

【技术保护点】

1.一种基于异地多活卡夫卡集群的业务处理系统,其特征在于,包括:设置于第一机房的卡夫卡主集群和第一业务消费节点,设置于第二机房的卡夫卡从集群和第二业务消费节点;

2.根据权利要求1所述的基于异地多活卡夫卡集群的业务处理系统,其特征在于,在启动消费业务实例处理所述卡夫卡主集群和所述卡夫卡从集群的业务消息时,所述第一业务消费节点具体用于:

3.根据权利要求2所述的基于异地多活卡夫卡集群的业务处理系统,其特征在于,在检测到所述卡夫卡主集群下线时,所述第一业务消费节点具体用于:

4.根据权利要求1所述的基于异地多活卡夫卡集群的业务处理系统,其特征在于,所述第一...

【技术特征摘要】

1.一种基于异地多活卡夫卡集群的业务处理系统,其特征在于,包括:设置于第一机房的卡夫卡主集群和第一业务消费节点,设置于第二机房的卡夫卡从集群和第二业务消费节点;

2.根据权利要求1所述的基于异地多活卡夫卡集群的业务处理系统,其特征在于,在启动消费业务实例处理所述卡夫卡主集群和所述卡夫卡从集群的业务消息时,所述第一业务消费节点具体用于:

3.根据权利要求2所述的基于异地多活卡夫卡集群的业务处理系统,其特征在于,在检测到所述卡夫卡主集群下线时,所述第一业务消费节点具体用于:

4.根据权利要求1所述的基于异地多活卡夫卡集群的业务处理系统,其特征在于,所述第一机房包括业务生产节点;

5.根据权利要求4所述的基于异地多活卡夫卡集群的业务处理系统,其特征在于,所述卡夫卡主集群和所述卡夫卡从集群用于写入所述第一机房生产的业务消息,还包括:

6.一种基于异地多活卡夫卡集群的业务...

【专利技术属性】
技术研发人员:钟伟林
申请(专利权)人:广州市网星信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1