一种基于消息队列中间件的数据处理方法及装置制造方法及图纸

本发明专利技术涉及一种基于消息队列中间件的数据处理方法及装置，消息队列中间件包括管理节点、主消息服务器、从消息服务器以及同步节点，其中，主消息服务器以及从消息服务器均具有对应的同步节点，同步节点用于记录对应的主消息服务器或者从消息服务器中已存储的消息的汇总信息；该方法应用于管理节点中，包括：判断主消息服务器是否故障；若判定主消息服务器故障，则从从消息服务器对应的同步节点中获取该同步节点记录的汇总信息，并根据汇总信息从从消息服务器中选举出新的主消息服务器。本实施例在不影响消息队列的性能前提下，保证Broker集群的故障恢复在数秒内完成，并且最大努力保证数据的完整性。

A data processing method and device based on message queue middleware

【技术实现步骤摘要】
一种基于消息队列中间件的数据处理方法及装置
本申请涉及数据处理
，尤其涉及一种基于消息队列中间件的数据处理方法及装置。
技术介绍
分布式消息队列(MessageQueue,简称MQ)中间件已经逐渐成为企业信息系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC(RemoteProcedureCall，远程过程调用)的主要手段之一。作为高并发系统的核心组件之一，能够帮助业务系统解构提升开发效率和系统稳定性。MQ的组成主要包括如下部分：Broker：消息服务器，作为server(服务器)提供消息核心服务。Producer:消息生产者，业务的发起方，负责生产消息传输给Broker。Consumer：消息消费者，业务的处理方，负责从Broker获取消息并进行业务逻辑处理。Topic:主题，发布订阅模式(Pub/Sub)下的消息统一汇集地，不同生产者向Topic发送消息，由MQ服务器分发到不同的订阅者，实现消息的广播。Queue：队列，PTP(Poin本文档来自技高网...

【技术保护点】
1.一种基于消息队列中间件的数据处理方法，其特征在于，所述消息队列中间件包括管理节点、主消息服务器、从消息服务器以及同步节点，其中，所述主消息服务器以及所述从消息服务器均具有对应的同步节点，所述同步节点用于记录对应的主消息服务器或者从消息服务器中已存储的消息的汇总信息；/n所述方法应用于所述管理节点中，包括：/n判断所述主消息服务器是否故障；/n若判定所述主消息服务器故障，则从所述从消息服务器对应的同步节点中获取该同步节点记录的汇总信息，并根据所述汇总信息从所述从消息服务器中选举出新的主消息服务器，所述新的主消息服务器用于从所述故障的主消息服务器对应的同步节点中同步尚未同步的消息，并对外提供服...

【技术特征摘要】
1.一种基于消息队列中间件的数据处理方法，其特征在于，所述消息队列中间件包括管理节点、主消息服务器、从消息服务器以及同步节点，其中，所述主消息服务器以及所述从消息服务器均具有对应的同步节点，所述同步节点用于记录对应的主消息服务器或者从消息服务器中已存储的消息的汇总信息；
所述方法应用于所述管理节点中，包括：
判断所述主消息服务器是否故障；
若判定所述主消息服务器故障，则从所述从消息服务器对应的同步节点中获取该同步节点记录的汇总信息，并根据所述汇总信息从所述从消息服务器中选举出新的主消息服务器，所述新的主消息服务器用于从所述故障的主消息服务器对应的同步节点中同步尚未同步的消息，并对外提供服务。


2.根据权利要求1所述的方法，其特征在于，所述判断所述主消息服务器是否故障，包括：
若在预设时长内没有接收到所述主消息服务器发送的心跳包，则向所述从消息服务器发送连接询问请求；
若接收到所述从消息服务器针对所述连接询问请求返回的连接断开消息时，则判定所述主消息服务器故障，其中，所述连接断开消息为所述从消息服务器确定与所述主消息服务器的连接断开时生成的消息；
若接收到所述从消息服务器针对所述连接询问请求返回的连接成功消息时，则判定所述主消息服务器没有故障，其中，所述连接成功消息为所述从消息服务器确定与所述主消息服务器的连接没有断开时生成的消息。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述汇总信息从所述从消息服务器中选举出新的主消息服务器，包括：
计算各从消息服务器的同步节点记录的汇总信息与所述主消息服务器的同步节点记录的汇总信息的差值，所述汇总信息包括各主题和各分区的消息数量，或者，保存消息的各消息文件的总大小；
将差值最小的汇总信息所在的同步节点对应的从消息服务器确定为新的主消息服务器。


4.根据权利要求1所述的方法，其特征在于，在所述判断所述主消息服务器是否故障之前，所述方法还包括：
接收所述主消息服务器或者所述从消息服务器发送注册请求，其中，所述注册请求包括所述主消息服务器或所述从消息服务器的设备信息，以及表示其为主消息服务器或从消息服务器角色的代码信息；
根据所述注册请求，对所述主消息服务器或者所述从消息服务器进行注册处理，所述注册处理包括将所述设备信息以及对应的代码信息关联存储。


5.根据权利要求1或2或4所述的方法，其特征在于，在所述根据所述汇总信息从所述从消息服务器中...

【专利技术属性】
技术研发人员：温天亮，任娟，
申请(专利权)人：广州荔支网络技术有限公司，
类型：发明
国别省市：广东;44