消息处理方法及系统、消息目的端设备与分布式消息系统技术方案

技术编号:10512082 阅读:115 留言:0更新日期:2014-10-08 13:27
本发明专利技术公开了一种消息处理方法及系统、消息目的端设备与分布式消息系统。所述方法包括:Producer为待发送的消息组生成消息标识,该消息标识用以唯一标识该消息组;并向Broker发送该消息标识和该消息组;Broker接收并存储Producer发送的该消息标识和该消息组;当Producer确定需要再次发送消息组时,从已生成的消息标识中获取消息组的消息标识;并向Broker发送消息标识和消息组;当Broker根据已接收到的消息标识,确定再次接收到消息标识对应的消息组时,对本次接收到的消息组进行去重处理。本发明专利技术技术方案能够在Broker端去除误算率,提高消息处理效率。

【技术实现步骤摘要】
消息处理方法及系统、消息目的端设备与分布式消息系统
本专利技术涉及信息处理
,特别涉及一种消息处理方法及系统、消息目的端 设备与分布式消息系统。
技术介绍
在分布式消息系统的应用中,由消息源端设备(Producer)发布的消息经消息代理 端设备(Broker)转发到消息目的端设备(Consumer),期间流转的消息都达到海量,由于本 身也是分布式系统,复杂度较高,导致消息重复或者丢失发生的概率被放大。因此在分布式 消息系统的应用中,消息去重以及防止消息丢失显得尤为重要。 为了提高消息传输的效率,分布式消息系统在消息传递过程中需要提供明确的 消息分发保障级别,消息分发保障级别描述一条消息被Producer成功发布后,相应的消 息Consumer成功接收到这条消息的次数:消息分发保障级别具体可以包括如下三种:第 一种、At least once,同一条消息至少会成功接收到1次,但可能接收到多次;第二种、At most once,同一条消息最多会成功接收到1次,但可能接收到0次;第三种、Exactly once, 同一条消息成功接收到1次且仅1次。本文档来自技高网...

【技术保护点】
一种消息处理方法,其特征在于,所述方法包括:消息源端设备为待发送的消息组生成消息标识,每个消息组包括多条消息,所述消息标识用以唯一标识所述消息组;所述消息源端设备向消息代理端设备发送所述消息标识和所述消息组;所述消息代理端设备接收并存储所述消息源端设备发送的所述消息标识和所述消息组;当所述消息源端设备确定需要再次发送所述消息组时,从已生成的消息标识中获取所述消息组的消息标识;所述消息源端设备向所述消息代理端设备发送所述消息标识和所述消息组;当所述消息代理端设备根据已接收到的消息标识,确定再次接收到所述消息标识对应的消息组时,对本次接收到的所述消息组进行去重处理。

【技术特征摘要】
1. 一种消息处理方法,其特征在于,所述方法包括: 消息源端设备为待发送的消息组生成消息标识,每个消息组包括多条消息,所述消息 标识用以唯一标识所述消息组; 所述消息源端设备向消息代理端设备发送所述消息标识和所述消息组; 所述消息代理端设备接收并存储所述消息源端设备发送的所述消息标识和所述消息 组; 当所述消息源端设备确定需要再次发送所述消息组时,从已生成的消息标识中获取所 述消息组的消息标识; 所述消息源端设备向所述消息代理端设备发送所述消息标识和所述消息组; 当所述消息代理端设备根据已接收到的消息标识,确定再次接收到所述消息标识对应 的消息组时,对本次接收到的所述消息组进行去重处理。2. 根据权利要求1所述的方法,其特征在于,当所述消息代理端设备根据已接收到的 消息标识,确定再次接收到所述消息标识对应的消息组时,对本次接收到的所述消息组进 行去重处理,包括: 当所述消息代理端设备根据已接收到的消息标识,确定再次接收到所述消息标识对应 的消息组时,丢弃本次接收的所述消息标识和所述消息组。3. 根据权利要求1或2所述的方法,其特征在于,所述消息代理端设备接收并存储所述 消息源端设备发送的所述消息标识和所述消息组,包括: 所述消息代理端设备接收所述消息源端设备发送的所述消息标识和所述消息组,并在 本地存储所述消息组,在外部存储器中存储所述消息标识,同时并在所述外部存储器中记 录存储所述消息标识的时刻。4. 根据权利要求3所述方法,其特征在于,所述方法还包括: 所述消息代理端设备删除所述外部存储器中存储时间超出存储周期的所述消息标识。5. -种消息处理方法,其特征在于,所述方法包括: 从外部存储器中获取当前待处理的消息的位置; 根据所述当前待处理的消息的位置,调用应用程序接口从消息代理端设备中获取所述 当前待处理的消息;所述应用程序接口提供所述当前待处理的消息的位置; 根据所述当前待处理的消息进行业务计算,得到计算结果;并确定下一条待处理的消 息的位置; 将所述计算结果和所述下一条待处理的消息的位置以同一事务存储在所述外部存储 器中。6. -种消息处理系统,其特征在于,所述系统包括:消息源端设备和消息代理端设备; 所述消息源端设备,用于为待发送的消息组生成消息标识,每个消...

【专利技术属性】
技术研发人员:董宇
申请(专利权)人:深圳市腾讯计算机系统有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1