一种消息分发方法、装置、设备及可读存储介质制造方法及图纸

技术编号:41473015 阅读:18 留言:0更新日期:2024-05-30 14:25
本申请提出一种消息分发方法、装置、设备及可读存储介质,消息分发方法包括消息封装步骤和消息分发步骤,其中消息封装步骤把消息队列中的各消息体序列化,并按照预设的消息封装结构封装在一个文件里,能够解决常规数据库存储大量数据时读写效率低的问题,消息分发步骤包括读取消息文件中的序列化消息体,并对其反序列化,得到原始待分发的消息队列,再根据消息体的字段完成分发,有效提高海量级消息分发时的处理效率和异常处理的能力,适用于多种大数据场景。

【技术实现步骤摘要】

本专利技术属于数据处理技术,尤其涉及一种消息分发方法、装置、设备及可读存储介质


技术介绍

1、在互联网应用中,往往涉及服务器或控制端向大量用户分发任务或消息的场景,这时需要一个高效的任务分发系统。常用的解决方案是采用数据库来统一存储任务或消息,服务器再通过查询数据库获取相应的消息而分发给用户,这些常用的数据库有mysql、es、redis等。当存储数据量达到亿级时,数据库的i/o就会出现读写瓶颈,对数据库的查询操作会消耗大量的cpu资源,尤其是一些复杂的查询操作,例如多表联查、聚合等,这会影响系统的性能;由于数据库的读写依赖于磁盘i/o,当并发读写操作非常多时,可能会出现io瓶颈,导致查询速度下降。此外,常用的数据库并发处理能力有限,存储时还需要保持数据格式的一致性,这些都会影响查询性能,进而降低任务分发效率。


技术实现思路

1、基于此,本专利技术旨在提出一种消息分发方法、装置、设备及可读存储介质,提供一种新的消息存储结构,并把多个消息体封装为一个文件,读取时对文件反序列化得到封装前的消息体,从而实现高效率本文档来自技高网...

【技术保护点】

1.一种消息分发方法,包括消息封装步骤和消息分发步骤,具体包括:

2.根据权利要求1所述的消息分发方法,其特征在于,所述根据消息体的字段对消息队列序列化包括:

3.根据权利要求1所述的消息分发方法,其特征在于,所述根据预设的消息封装结构把序列化消息体封装为消息文件包括:

4.根据权利要求1或3所述的消息分发方法,其特征在于,所述预设的消息封装结构还包括消息错误子文件,用于存储封装失败的消息体信息。

5.根据权利要求1所述的消息分发方法,其特征在于,所述消息分发步骤包括:

6.根据权利要求1所述的消息分发方法,其特征在于,所述读取...

【技术特征摘要】

1.一种消息分发方法,包括消息封装步骤和消息分发步骤,具体包括:

2.根据权利要求1所述的消息分发方法,其特征在于,所述根据消息体的字段对消息队列序列化包括:

3.根据权利要求1所述的消息分发方法,其特征在于,所述根据预设的消息封装结构把序列化消息体封装为消息文件包括:

4.根据权利要求1或3所述的消息分发方法,其特征在于,所述预设的消息封装结构还包括消息错误子文件,用于存储封装失败的消息体信息。

5.根据权利要求1所述的消息分发方法,其特征在于,所述消息分发步骤包括:

6.根据权利要求1所述的消息分发方法,其特征在于,所述读取消息文件采用非阻塞i/o。

...

【专利技术属性】
技术研发人员:丰亮
申请(专利权)人:创优数字科技广东有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1