一种基于kafka的微服务消息系统及消息处理方法技术方案

本申请公开了一种基于kafka的微服务消息系统及消息处理方法，其中，微服务消息系统包括：消息发送代理模块，用于接收消息发送端发送的消息；分布式的Kafka服务器集群，用于存储所述消息发送代理模块接收到的消息，Kafka服务器集群中包括多个逻辑消息队列，每个所述逻辑消息队列具有多个分区，不同的分区位于不同的存储对象上；消息消费代理模块，用于接收消息消费端的拉取消息请求，并根据接收到的请求从所述Kafka服务器集群中拉取对应消息返回给消息消费端；分布式管理模块，用于管理所述Kafka服务器集群中的各逻辑消息队列，并在所述逻辑消息队列的信息发生变化时通知给所述消息发送代理模块和所述消息消费代理模块。

【技术实现步骤摘要】

本申请涉及通信，更具体的说，是涉及一种基于kafka的微服务消息系统及消息处理方法。

技术介绍

1、随着社会信息化的发展和企业业务场景的复杂度增加，企业分布式系统的数据通讯要求的深入，服务间直接的rpc(remote procedure call，远程过程调用)调用模式已经不能满足现有的业务对于服务解耦、流量控制及数据通信可靠性的要求，为了解决需要高可靠数据通信问题，以消息队列进行消息传递和消息发布订阅模式被广泛采用。

2、消息队列及发布订阅模式对数据通讯产生了革命性的改变。消息队列是分布式应用间交换信息，数据通信的一种技术，消息队列可驻留在内存或磁盘上，队列存储消息直到消息被应用服务取走。使用上，消息发布方并不直接把消息发送给接收方，而是把消息发到消息中间件，消息中间件对消息持久化，消费方直接从中间件订阅所需消息，从而极大降低系统耦合度。且消息队列把数据进行持久化直到消息已经被完全处理，通过这一方式规避了数据丢失的风险。

3、目前企业广泛应用的消息队列主要为mq(rabbitmq，activemq，rocketmq等)，这些消息中本文档来自技高网...

【技术保护点】

1.一种基于kafka微服务消息系统，其特征在于，包括：

2.根据权利要求1所述的基于kafka微服务消息系统，其特征在于，每个所述逻辑消息队列的多个分区中包含一个主分区和至少一个从分区，所述主分区用于读写消息，所述从分区为所述主分区的副本。

3.根据权利要求2所述的基于kafka微服务消息系统，其特征在于，所述Kafka服务器集群还用于：在逻辑消息队列的主分区故障时，从对应的至少一个从分区中选择出一个从分区设置为主分区。

4.根据权利要求1所述的基于kafka微服务消息系统，其特征在于，还包括：

5.一种消息处理方法，应用于权利要求1-4...

【技术特征摘要】

1.一种基于kafka微服务消息系统，其特征在于，包括：

2.根据权利要求1所述的基于kafka微服务消息系统，其特征在于，每个所述逻辑消息队列的多个分区中包含一个主分区和至少一个从分区，所述主分区用于读写消息，所述从分区为所述主分区的副本。

3.根据权利要求2所述的基于kafka微服务消息系统，其特征在于，所述kafka服务器集群还用于：在逻辑消息队列的主分区故障时，从对应的至少一个从分区中选择出一个从分区设置为主分区。

4.根据权利要求1所述的基于kafka微服务消息系统，其特征在于，还包括：

5.一种消息处理方法，...

【专利技术属性】
技术研发人员：肖梦龙，王海，刘一凡，栾衡，崔华，
申请(专利权)人：中国民航信息网络股份有限公司，
类型：发明
国别省市：