分布式消息数据服务集群制造技术

本发明专利技术涉及消息处理领域，具体涉及一种分布式消息数据服务集群，包括用于存储主题消息数据的主题分区，所述主题分区包括分布在所述服务集群的不同服务端；其特征在于：所述主题分区接收生产端产生的所述主题消息数据并映射到所述服务端的内存中。

Distributed messaging data service cluster

The invention relates to the field of information processing, in particular to a distributed message data service cluster, including the theme theme for storing the message data partition, the partition includes the distribution of different theme in the service server cluster; which is characterized in that the theme of partition which is connected with the production end theme message data generated and mapped to the the server's memory.

【技术实现步骤摘要】
分布式消息数据服务集群
本专利技术涉及消息处理领域，具体涉及一种分布式消息数据服务集群。
技术介绍
目前用于消息（如日志）处理的消息系统很多，比较流行的是分布式消息系统。分布式消息系统框架如图1所示。包括Producer（消息生产者，简称PD）、Agent（消息缓存者），Consumer（消息处理者，简称CS）以及第三方管理集群，每个角色都可以有多个。Producer发送消息到Agent，消息持久化存储在Agent上，Consumer再从Agent取得消息进行处理。第三方管理集群用来存储Producer，Consumer与Agent的一些状态信息。分布式消息系统基于消息的主题（Topic）进行消息管理。在消息存储设备中也是基于主题来进行存储的。并且是以文件模式持久化在服务端的硬盘中。这种类型的主题消息数据使用文件进行存储不太方便。首先，文件存储是针对生命周期相对较长的消息设计的，不能及时的淘汰过期数据；其次，对于文件存储而言，能够被消费的数据一定是已经落地（即持久化到硬盘的、具有有效逻辑版本号）的主题消息数据，而文件存储模式下主题消息数据被接收到落地之间有时间差，不能及时被消费。专利本文档来自技高网...

【技术保护点】
一种分布式消息数据服务集群，包括用于存储主题消息数据的主题分区，所述主题分区包括分布在所述服务集群的不同服务端；其特征在于：所述主题分区接收生产端产生的所述主题消息数据并映射到所述服务端的内存中。

【技术特征摘要】
1.一种分布式消息数据服务集群，包括用于存储主题消息数据的主题分区，所述主题分区包括分布在所述服务集群的不同服务端；其特征在于：所述主题分区接收生产端产生的所述主题消息数据并映射到所述服务端的内存中。2.根据权利要求1所述的一种分布式消息数据服务集群，其特征在于：所述主题分区包括数据段落跳跃表，所述数据段落跳跃表包括多个数据层；下一数据层的节点数量大于上一数据层的节点数量，并且下一数据层包括上一数据层的所有节点，位于底层的数据层包括所述数据段落跳跃表的所有节点；所述节点包括段落数据，所述段落数据包括所述主题消息数据。3.根据权利要求2所述的一种分布式消息数据服务集群，其特征在于：所述节点包括其在下一数据层中的指针数据、所述节点所在数据层的下一节点的指针数据。4.根据权利要求3所述的一种分布式消息数据服务集群，其特征在于：所述段落数据包括索引文件，所述索引文件记载所述主题消息数据的逻辑版本号与所述主题消息数据在内存中的偏移地址的一一映射关系。5.根据权利要求4所述的一种分布式消息数据服务集群，其特征在于：所...

【专利技术属性】
技术研发人员：胡悦，吴文龙，
申请(专利权)人：杭州多麦电子商务股份有限公司，
类型：发明
国别省市：浙江,33