一种分布式消息处理系统及其中的设备和方法技术方案

本发明专利技术公开了一种分布式消息处理系统及其中的设备和方法。其中消息处理设备包括：存储信息获取器，生成消息处理请求，消息处理请求包括所请求处理消息的主题；传输接口，将消息处理请求发送给消息管理设备，并接收与该主题相对应的一个或多个存储分区信息；消息位置管理器，选择一个或多个存储分区信息之一，从消息管理设备中获取所选择的存储分区信息对应的当前要处理消息的位置信息；以及消息获取器，生成消息获取请求，消息获取请求包括所请求处理消息的主题、所选择的存储分区、该存储分区的当前要处理消息的位置信息和所要处理的消息大小；传输接口将消息获取请求发送给该存储分区所在的消息存储设备，以及接收对应于消息获取请求的消息。

【技术实现步骤摘要】

本专利技术涉及消息处理领域，具体涉及。
技术介绍
目前用于消息(如日志)处理的消息系统有很多，比较流行的是分布式消息系统。 分布式消息系统的具体形式有很多，如Spread、Kafka等。下面仅以常用的一种分布式消息系统Kafka为例进行说明。Kafka是用于日志处理的分布式消息系统，主要针对日志数据容量大，但对可靠性要求不是很高的业务。这些系统中的日志数据主要包括用户行为，例如，登录、浏览、点击、 分享以及喜欢等，还包括系统运行日志，例如，CPU (Central Processing Unit,中央处理器)、内存、磁盘、网络、系统及进程等的运行状态。图I为相关技术中Kafka系统架构示意图。该Kafka系统包括以下四个角色 Producer (消息产生者，简称PD) 11、Broker (简称BK) 12、Consumer (消息处理者，简称 CS) 13以及Zooke印er(管理者，简称ZK) 14，每个角色都可以是多个。Consumer 13在Kafka 系统中负责处理消息；Producer 11在Kafka系统中负责产生消息；Broker 12是Kafka系统中用来存放消息本文档来自技高网...

【技术保护点】
一种在分布式消息处理系统中的消息处理设备，该分布式消息处理系统还包括一个或多个消息存储设备和消息管理设备，其中每条消息具有相应的主题，消息存储设备为相应主题建立一个或者多个存储分区，并且根据消息的主题将消息存储在相应主题的存储分区之一中，所述消息管理设备中存储有每个消息存储设备中有关存储分区的信息以及每个存储分区中当前要处理的消息的位置信息，该消息处理设备包括：存储信息获取器，被配置为生成消息处理请求，所述消息处理请求至少包括所请求处理消息的主题；传输接口，被配置为将所述消息处理请求发送给所述消息管理设备，并接收所述消息管理设备发送的与所述消息处理请求中的主题相对应的一个或者多个存储分区信息；...

【技术特征摘要】

【专利技术属性】
技术研发人员：代兵，陈超，桂勇哲，朱超，王超，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：