消息的分级存储方法及装置、电子设备和存储介质制造方法及图纸

技术编号:40468922 阅读:16 留言:0更新日期:2024-02-22 23:23
本公开消息的分级存储方法及装置、电子设备和存储介质,在接收到待传输消息后,确定消息体大小,在确定消息体大小小于预设阈值的情况下,将待传输消息分发至队列对应的存储位置,在确定消息体大小大于或者等于预设阈值的情况下,将待传输消息分发至磁盘中对应的地址索引进行存储,并将地址索引分发至队列对应的存储位置,消费者在获取队列中的地址索引后,从磁盘中获取对应的待传输消息。相较于现有的技术采用消息集存储和索引分发的方式,所有消息先集中化存储,构建和分发索引,在大量小消息场景下,这种方式显得冗余低效,而本公开在通过预设阈值区分大小消息,对小消息采用直接分发的方式,减少持久化操作、简化消息流转过程,提高整体性能。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及一种消息的分级存储方法及装置、电子设备和存储介质


技术介绍

1、消息队列(message queue),是分布式系统中重要的组件,主要解决了耦合、异步处理、流量削锋等问题。现代消息队列的核心是消息收发机制,基于不同的消息队列协议,多种消息队列架构迥异,rcoketmq、kafka等是订阅/发布模式,也即通过主题(topic)完成消息流转,而advanced message queuing protocol(amqp)协议则采用路由绑定模式,主流的支持amqp协议的消息队列是开源rabbitmq,在rabbitmq收发流程中,服务器接收到消息并将其持久化存储层(ets和mnesia等内置存储组件中),同时生成位置索引,并将索引信息分发到对应的队列中。消费消息时,先读取索引消息,在依据索引中的位置消费原始消息内容。这种方式可以减少消息复制分发、进程间通信的带宽和时间,同时实际复制分发的是索引而不是原始消息体,开可以减少空间占用。

2、上述流程对所有消息的进行通用化处理,多数场景都是小消息的频繁收发,导致实际使用场景中性本文档来自技高网...

【技术保护点】

1.一种消息的分级存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,若启动消息确认机制,在将所述待传输消息分发至磁盘中对应的地址索引进行存储之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,若启动消息确认机制,在将所述待传输消息分发至磁盘中对应的地址索引进行存储之后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,在将所述待传输消息发送给服务器之前,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,若启动消息确认机制,在将所述待传输消息分发至队列对应的存储位置之后,所述方法还包括:...

【技术特征摘要】

1.一种消息的分级存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,若启动消息确认机制,在将所述待传输消息分发至磁盘中对应的地址索引进行存储之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,若启动消息确认机制,在将所述待传输消息分发至磁盘中对应的地址索引进行存储之后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,在将所述待传输消息发送给服务器之前,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,若启动消息确认机制,在将所述待传输...

【专利技术属性】
技术研发人员:陈国瑾
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1