消息处理系统、方法、电子设备及存储介质技术方案

本发明专利技术实施例提供了一种消息处理系统、方法、电子设备及存储介质，其中，消息处理系统，包括：生产集群，用于接收生产端发送的数据；消费集群，用于接收从生产集群中同步至消费集群的数据，以使消费端从消费集群中读取数据。通过本发明专利技术实施例提供的消息处理系统、方法、电子设备及存储介质，能够降低针对生产端的消息服务和针对消费端的消息服务之间的关联，提高消息服务的可用性。

【技术实现步骤摘要】
消息处理系统、方法、电子设备及存储介质
本专利技术涉及计算机应用
，特别是涉及一种消息处理系统、方法、电子设备及存储介质。
技术介绍
Kafka(卡夫卡)是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据，在互联网公司等都有着极其广泛的应用。现有技术中，如图1所示，生产端与集群交互，以实现将数据保存在该集群中，同时，消费端与同一集群交互，以实现从集群中读取数据，如业务1对应的消费端1、业务2对应的消费端2，业务3对应的消费端3，等等均与集群交互。且Kafka支持广播模式，即支持一份数据多次被消费的场景，如此会存在大量相同数据，同时被众多消费端消费的情况，随着业务不断增加，会导致集群的负载不断变大进而到达集群的容量上限，甚至会超过集群负载而使得集群不可用。现有技术中，数据的生产和消费全部在同一个集群完成，即生产端和消费端均与同一个集群交互，集群的负载过大甚至不可用等会使得针对生产端和消费端的消息服务均受到影响，如此会使得消息服务的可用性受影响。
技术实现思路
本专利技术实施例的目的在于提供一种消息处理本文档来自技高网...

【技术保护点】
1.一种消息处理系统，其特征在于，包括：/n生产集群，用于接收生产端发送的数据；/n消费集群，用于接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据。/n

【技术特征摘要】
1.一种消息处理系统，其特征在于，包括：
生产集群，用于接收生产端发送的数据；
消费集群，用于接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据。


2.根据权利要求1所述的消息处理系统，其特征在于，所述消费集群包括多个业务子集群；
针对各个业务子集群，所述业务子集群，用于接收业务关联数据，以使业务对应的消费端从所述业务子集群中读取所述业务关联数据，所述业务关联数据是从所述生产集群中同步至所述业务子集群的、与所述业务相关联的数据。


3.根据权利要求2所述的消息处理系统，其特征在于，所述消费集群包括新增业务子集群；
所述新增业务子集群，用于接收新增业务关联数据，以使新增业务对应的消费端从所述新增业务子集群中读取所述新增业务关联数据，所述新增业务子集群是当针对所述新增业务对所述消息处理系统进行扩容时，在所述消费集群中添加的业务子集群；所述新增业务关联数据是从所述生产集群中同步至所述新增业务子集群，与所述新增业务相关联的数据。


4.根据权利要求1至3任一项所述的消息处理系统，其特征在于，所述消息处理系统还包括同步器，所述同步器，用于通过流处理方式，将所述生产集群中的数据同步至所述消费集群。


5.一种消息处理方法，其特征在于，应用于包括生产集群和消费集群的消息处理系统，所述方法包括：
所述生产集群接收生产端发送的数据；
所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据。


6.根据权利要求5所述的方法，其特征在于，所述消费集群包括多个业务子集群；
针对各个业务子集群，所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，以使消费...

【专利技术属性】
技术研发人员：冯浩，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11