System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种消息处理方法和系统技术方案_技高网

一种消息处理方法和系统技术方案

技术编号:40355017 阅读:5 留言:0更新日期:2024-02-09 14:40
本申请提供一种消息处理方法和系统。本申请提供的消息处理方法,所述消息处理方法应用于消息处理系统,所述消息处理系统包括主节点和从节点;所述方法包括:所述主节点在接收到消息时,根据所述消息的标识信息、以及预先为所述消息对应的业务的各个存储分区配置的子分区的第一数量,确定所述消息待存储的第一子分区;所述主节点将所述消息存入第一存储分区的所述第一子分区中;所述主节点遍历各个子分区集,并基于当前遍历至的子分区集中的子分区存储的消息,生成该子分区对应的任务,以及将所述任务写入任务队列;所述从节点处理所述任务队列中的任务。本申请提供的消息处理方法和系统,实现了可预警、可扩展、可管理的延迟队列技术。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种消息处理方法和系统


技术介绍

1、越来越多的业务需要任意时长的延迟队列、过期及超时回调的业务场景,以帮助用户在应用中处理发布资源延时确认、订单延迟确认、异常超时反馈等流程,避免大量数据堆积压垮系统,也避免用户无限期等待,从而优化用户体验。

2、因此,如何实现延迟队列技术成为当前亟待解决的问题。


技术实现思路

1、有鉴于此,本申请提供一种消息处理方法、装置和系统,用以实现延迟队列技术。

2、具体地,本申请是通过如下技术方案实现的:

3、本申请第一方面提供一种消息处理方法,所述消息处理方法应用于消息处理系统,所述消息处理系统包括主节点和从节点;所述方法包括:

4、所述主节点在接收到消息时,根据所述消息的标识信息、以及预先为所述消息对应的业务的各个存储分区配置的子分区的第一数量,确定所述消息待存储的第一子分区;

5、所述主节点将所述消息存入第一存储分区的所述第一子分区中;其中,所述第一存储分区为时间戳与所述消息携带的过期回调时间戳一致的存储分区;

6、所述主节点遍历各个子分区集,并基于当前遍历至的子分区集中的子分区存储的消息,生成该子分区对应的任务,以及将所述任务写入任务队列;其中,每个所述子分区集由各个所述存储分区下标识信息相同的各个子分区构成;

7、所述从节点处理所述任务队列中的任务。

8、本申请第二方面提供一种消息处理系统,所述消息处理系统包括主节点和从节点;其中,

9、所述主节点,用于在接收到消息时,根据所述消息的标识信息、以及预先为所述消息对应的业务的各个存储分区配置的子分区的第一数量,确定所述消息待存储的第一子分区;

10、所述主节点,还用于将所述消息存入第一存储分区的所述第一子分区中;其中,所述第一存储分区为时间戳与所述消息携带的过期回调时间戳一致的存储分区;

11、所述主节点,还用于遍历各个子分区集,并基于当前遍历至的子分区集中的子分区存储的消息,生成该子分区对应的任务,以及将所述任务写入任务队列;其中,每个所述子分区集由各个所述存储分区下标识信息相同的各个子分区构成;

12、所述从节点,用于处理所述任务队列中的任务。

13、本申请提供的消息处理方法和系统,应用于消息处理系统,所述消息处理系统包括主节点和从节点,所述主节点在接收到消息时,通过根据所述消息的标识信息、以及预先为所述消息对应的业务的各个存储分区配置的子分区的第一数量,确定所述消息待存储的第一子分区,并将所述消息存入第一存储分区的所述第一子分区中,进而遍历各个子分区集,并基于当前遍历至的子分区集中的子分区存储的消息,生成该子分区对应的任务,以及将所述任务写入任务队列,所述从节点处理所述任务队列中的任务。其中,所述第一存储分区为时间戳与所述消息携带的过期回调时间戳一致的存储分区;每个所述子分区集由各个所述存储分区下标识信息相同的各个子分区构成。这样,可根据接收到的消息的标识信息和第一数量,确定所述消息待存储的第一子分区,并将所述消息存入与该消息携带的时间戳一致的存储分区的第一子分区中,这样,引入存储分区来进行消息存储,每个存储分区对应一个时间戳,可基于存储分区,来确定待过期的消息的时间分布、进而基于待过期的消息的时间分布,可达到对待过期的消息进行预警的目的,此外,通过分片储存,可实现对已插入消息的管理。进一步的,使用主从架构来处理消息,可处理较大数据量的消息,避免大数据量处理困难的问题。

本文档来自技高网...

【技术保护点】

1.一种消息处理方法,其特征在于,所述消息处理方法应用于消息处理系统,所述消息处理系统包括主节点和从节点;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述主节点将所述消息存入第一存储分区的所述第一子分区中,包括:

3.根据权利要求1所述的方法,所述主节点遍历各个子分区集,并基于当前遍历至的子分区集中的子分区存储的消息,生成该子分区对应的任务,以及将所述任务写入任务队列,包括:

4.根据权利要求3所述的方法,其特征在于,在所述状态信息表征所述第二子分区对应的任务未处理完成时,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,在当前已遍历的子分区集的第二数量达到所述第一数量时,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述从节点处理所述任务队列中的任务,包括:

7.一种消息处理系统,其特征在于,所述消息处理系统包括主节点和从节点;其中,

8.根据权利要求7所述的系统,其特征在于,所述将所述消息存入第一存储分区的所述第一子分区中,包括:

9.根据权利要求7所述的系统,其特征在于,所述遍历各个子分区集,并基于当前遍历至的子分区集中的子分区存储的消息,生成该子分区对应的任务,以及将所述任务写入任务队列,包括:

10.根据权利要求9所述的系统,其特征在于,所述处理所述任务队列中的任务,包括:

...

【技术特征摘要】

1.一种消息处理方法,其特征在于,所述消息处理方法应用于消息处理系统,所述消息处理系统包括主节点和从节点;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述主节点将所述消息存入第一存储分区的所述第一子分区中,包括:

3.根据权利要求1所述的方法,所述主节点遍历各个子分区集,并基于当前遍历至的子分区集中的子分区存储的消息,生成该子分区对应的任务,以及将所述任务写入任务队列,包括:

4.根据权利要求3所述的方法,其特征在于,在所述状态信息表征所述第二子分区对应的任务未处理完成时,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,在当前已遍历的子分区集的...

【专利技术属性】
技术研发人员:陆佳炜康跃平鹿昌开
申请(专利权)人:北京陌陌信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1