【技术实现步骤摘要】
一种消息数据处理方法、装置、设备及可读存储介质
本专利技术涉及数据共享交互
,特别是涉及一种消息数据处理方法、装置、设备及可读存储介质。
技术介绍
分布式应用系统与大数据技术应用日益广泛,为实现不同信息系统之间的数据共享,需要将数据封装为消息,通过消息队列(MessageQueue,MQ)实现不同系统之间的数据共享交互。消息队列为一个先进先出的消息存储区域,消息按照顺序发送接收,一旦消息被消费处理,该消息将从队列中删除。互联网应用每天产生海量日志,消息队列可以作为日志聚合的消息容器。消息队列可以快速高效将应用系统的业务数据发布到大数据分析平台,建立起应用系统与大数据分析平台之间的桥梁,实现两者之间的解耦关联。目前,消息队列持久化消息到文件系统来存储和缓存消息,由于磁盘的读写相比CPU或DRAM(DynamicRandomAccessMemory,动态随机存取存储器)缓慢,这导致消息持久化成为消息队列应用的性能瓶颈,难以提升不同信息系统之间的数据共享性能。综上所述,如何有效地解决消息队列中消息持久 ...
【技术保护点】
1.一种消息数据处理方法,其特征在于,包括:/n分布式消息队列系统接收消息生产者发布的消息数据;/n利用非易失性内存的存储接口,将所述消息数据持久化存储至所述非易失性内存中;/n在接收消息消费者发送的消费请求时,从所述非易失性内存中查找与所述消费请求匹配的目标消息数据;/n将所述目标消息数据拷贝到内存缓存后,利用套接字将所述目标消息数据发送给所述消息消费者。/n
【技术特征摘要】
1.一种消息数据处理方法,其特征在于,包括:
分布式消息队列系统接收消息生产者发布的消息数据;
利用非易失性内存的存储接口,将所述消息数据持久化存储至所述非易失性内存中;
在接收消息消费者发送的消费请求时,从所述非易失性内存中查找与所述消费请求匹配的目标消息数据;
将所述目标消息数据拷贝到内存缓存后,利用套接字将所述目标消息数据发送给所述消息消费者。
2.根据权利要求1所述的消息数据处理方法,其特征在于,在所述分布式消息队列系统接收消息生产者提交的消息数据之前,还包括:
检测系统硬件配置,确定是否配置了所述非易失性内存;
如果是,则将所述非易失性内存设置为应用直接访问模式。
3.根据权利要求1所述的消息数据处理方法,其特征在于,还包括:
执行数据删除策略,以清除所述非易失性内存中的过期消息数据。
4.根据权利要求1所述的消息数据处理方法,其特征在于,将所述消息数据持久化存储至所述非易失性内存中,包括:
利用JMS协议将所述消息数据持久化存储至所述非易失性内存中。
5.根据权利要求1所述的消息数据处理方法,其特征在于,分布式消息队列系统接收消息生产者发布的消息数据,包括:
所述分布式消息队列系统为每类数据分别创建一个主题,以便所述消息生产者向主题发布所述消息数据。
...
【专利技术属性】
技术研发人员:胡德鹏,魏健,
申请(专利权)人:苏州浪潮智能科技有限公司,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。