一种基于消息队列系统的消息处理方法及其相关设备技术方案

本申请公开了一种基于消息队列系统的消息处理方法及其相关设备，其包括：先接收业务服务中产生的第一消息，以及在第一消息中写入针对第一消息配置的第一存储偏移量(如offset)；再将携带第一存储偏移量的第一消息存储至第一消息队列集群并通过专用数据同步服务将第一消息队列集群中的第一消息同步存储至第二消息队列集群，以使该第二消息队列集群用于按照第一存储偏移量存储第一消息，并使得该第二消息队列集群支持第一消息队列集群的消息备份，如此能够实现通过指定Offset写入方式进行备份，以确保该消息在不同集群中所处的存储位置保持一致，从而能够有效地克服因同一个消息在不同集群中对应的offset不一致而导致的缺陷，如此有利于提高异地容灾效果。

【技术实现步骤摘要】

本申请涉及数据处理，尤其涉及一种基于消息队列系统的消息处理方法及其相关设备。

技术介绍

1、消息队列系统(如kafka或者rocketmq)用于执行消息相关的处理，如存储消息、转发消息等处理，而且在该系统已经配置好某个主题(topic)之后，该系统的工作原理如下：在该topic接收到由生产者(producer)所提供的消息之后，由该topic保存该消息，并由该topic将该消息传递给订阅了该topic的消费者(consumer)。

2、另外，为了更好地提高服务效果，消息队列系统存在异地容灾需求。其中，异地容灾是指在不同地域所部署的机房内，构建一套或者多套相同的应用或者服务(如消息队列系统)，以起到灾难后立刻接管的作用，如此能够减少因为单个机房的故障(如网络中断、机房火灾、机房断电等)对整体服务的影响。

技术实现思路

1、为了满足上述需求，本申请提供了一种基于消息队列系统的消息处理方法及其相关设备。

2、为了实现上述目的，本申请提供的技术方案如下：

3、本申请提供一种基于消息本文档来自技高网...

【技术保护点】

1.一种基于消息队列系统的消息处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一消息队列集群和所述第二消息队列集群跨区域部署，且所述第一消息队列集群与所述第二消息队列集群预先配置有所述专用数据同步服务，所述专用数据同步服务用于将所述第一消息队列集群中的所述第一消息单向地发送给所述第二消息队列集群。

3.根据权利要求1所述的方法，其特征在于，所述第一消息队列集群和所述第二消息队列集群均包括通过配置同一主题所创建的多个容器，所述多个容器包括第一容器和第二容器，所述主题用于指示所述多个容器中存储的消息类别；>

4.根据权利...

【技术特征摘要】

1.一种基于消息队列系统的消息处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一消息队列集群和所述第二消息队列集群跨区域部署，且所述第一消息队列集群与所述第二消息队列集群预先配置有所述专用数据同步服务，所述专用数据同步服务用于将所述第一消息队列集群中的所述第一消息单向地发送给所述第二消息队列集群。

3.根据权利要求1所述的方法，其特征在于，所述第一消息队列集群和所述第二消息队列集群均包括通过配置同一主题所创建的多个容器，所述多个容器包括第一容器和第二容器，所述主题用于指示所述多个容器中存储的消息类别；

4.根据权利要求1所述的方法，其特征在于，所述在所述第一消息中写入针对所述第一消息配置的第一存储偏移量，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权...

【专利技术属性】
技术研发人员：邹盛富，张思琪，杨国栋，王啸凡，张英会，雷丽媛，龚云飞，高昌利，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：