一种分布式消息系统及其中的设备和方法技术方案

本发明专利技术公开了一种分布式消息系统及其中的设备和方法，其中协调设备包括：第一监听器，被配置为监听在消息管理设备处登记的消息处理设备的相关信息；第一获取器，从消息管理设备获取处理特定主题消息的消息处理设备的信息；第二获取器，从消息管理设备获取存储特定主题消息的消息存储设备中的存储分区的信息；分配器，根据相关信息发生变化的消息处理设备涉及的消息主题，从第一获取器获取与消息主题相关的消息处理设备的信息以及从第二获取器获取与消息主题相关的存储分区的信息，重新计算为所获取的每个消息处理设备分配进行消息处理的存储分区的分配结果；结果输出器，将分配器的分配结果输出到消息管理设备。

【技术实现步骤摘要】

本专利技术涉及消息处理领域，具体涉及。
技术介绍
目前用于消息(如日志)处理的消息系统有很多，比较流行的是分布式消息系统。分布式消息系统的具体形式有很多，如Spread、Kafka等。下面仅以常用的一种分布式消息系统Kafka为例进行说明。Kafka是用于日志处理的分布式消息系统，主要针对日志数据容量大，但对可靠性要求不是很高的业务。这些系统中的日志数据主要包括用户行为，例如，登录、浏览、点击、分享以及喜欢等，还包括系统运行日志，例如，CPU (Centra Processing Unit,中央处理器)、内存、磁盘、网络、系统及进程等的运行状态。图1为相关技术中Kafka系统架构示意图。该Kafka系统包括以下四个角色Producer (消息产生者，简称PD) 11、Broker (简称BK) 12、Consumer (消息处理者，简称CS) 13以及Zooke印er(管理者，简称ZK) 14，每个角色都可以是多个。Consumer 13在Kafka系统中负责处理消息；Producer 11在Kafka系统中负责产生消息；Brokerl2是Kafka系统中用来存放消息的地方，负责接本文档来自技高网...

【技术保护点】
一种用于分布式消息系统的协调设备，所述分布式消息系统还包括一个或者多个存储消息的消息存储设备、一个或者多个对消息进行处理的消息处理设备和消息管理设备，其中每条消息具有相应的主题，所述消息存储设备为相应的主题建立一个或者多个存储分区，并且根据消息的主题将消息存储在相应主题的存储分区之一中；所述消息处理设备适于处理在某主题下的一个或者多个存储分区中的消息；所述消息管理设备中存储有与所述消息存储设备、消息处理设备、以及消息处理设备处理消息的目标存储分区相关的信息；所述协调设备包括：第一监听器，被配置为监听在所述消息管理设备处登记的消息处理设备的相关信息；第一获取器，被配置为从所述消息管理设备获取适于...

【技术特征摘要】
1.一种用于分布式消息系统的协调设备，所述分布式消息系统还包括一个或者多个存储消息的消息存储设备、一个或者多个对消息进行处理的消息处理设备和消息管理设备，其中每条消息具有相应的主题，所述消息存储设备为相应的主题建立一个或者多个存储分区，并且根据消息的主题将消息存储在相应主题的存储分区之一中；所述消息处理设备适于处理在某主题下的一个或者多个存储分区中的消息；所述消息管理设备中存储有与所述消息存储设备、消息处理设备、以及消息处理设备处理消息的目标存储分区相关的信息；所述协调设备包括第一监听器，被配置为监听在所述消息管理设备处登记的消息处理设备的相关信息；第一获取器，被配置为从所述消息管理设备获取适于处理特定主题消息的消息处理设备的信息；第二获取器，被配置为从所述消息管理设备获取存储特定主题消息的消息存储设备中的存储分区的信息；分配器，被配置为在所述第一监听器所监听的信息发生变化时，根据相关信息发生变化的消息处理设备涉及的消息主题，从所述第一获取器获取与所述消息主题相关的消息处理设备的信息以及从所述第二获取器获取与所述消息主题相关的存储分区的信息，并基于所获取的消息处理设备和存储分区的信息，重新计算为所获取的每个消息处理设备分配进行消息处理的存储分区的分配结果；以及结果输出器，被配置为将所述分配器的分配结果输出到所述消息管理设备，以便更新每个消息处理设备的目标存储分区信息。2.如权利要求1所述的协调设备，其中所述协调设备还包括第二监听器，被配置为监听在所述消息管理设备处登记的消息存储设备的相关信息；其中所述分配器还被配置为在所述第二监听器所监听的信息发生变化时，对于信息发生变化的消息存储设备涉及的一个或者多个消息主题中的每个消息主题，从所述第一获取器获取与该消息主题相关的消息处理设备的信息以及从所述第二获取器获取与该消息主题相关的存储分区的信息，并基于所获取的消息处理设备和存储分区的信息，重新计算为所获取的每个消息处理设备分配进行消息处理的存储分区的分配结果。3.如权利要求1或2所述的协调设备，其中第一获取器获取的消息处理设备的信息包括消息处理设备的物理位置标识，以及第二获取器获取的存储分区的信息包括存储分区所在的消息存储设备的物理位置标识，以及所述分配器适于根据所获取的涉及同一消息主题的消息处理设备的物理位置标识和消息存储设备的物理位置标识的比较结果来将涉及该消息主题的消息存储设备的存储分区分配给涉及该消息主题的消息处理设备进行消息处理。4.如权利要求3所述的协调设备，所述分配器适于优先将消息存储设备的存储分区分配给物理位置接近的消息处理设备来进行处理。5.如权利要求1至4中任一项所述的协调设备，所述分配器适于优先将一个消息存储设备上涉及同一消息主题的多个存储分区分配给同一个消息处理设备进行消息处理。6.如权利要求1至5中任一项所述的协调设备，所述分配器适于根据涉及同一消息主题的消息处理设备处理的消息处理量来为涉及该消息主题的所有消息处理设备分配进行消息处理的存储分区。7.一种用于分布式消息系统的消息管理设备，所述分布式消息系统还包括一个或者多个存储消息的消息存储设备、一个或者多个对消息进行处理的消息处理设备和协调设备，其中每条消息具有相应的主题，所述消息存储设备为每个相应的主题建立一个或者多个存储分区，并且根据消息的主题将消息存储在相应主题的存储分区之一中；所述消息处理设备适于处理在某主题下的一个或者多个存储分区中的消息；所述协调设备适于提供为所述消息处理设备分配进行消息处理的存储分区的分配结果；所述消息管理设备包括信息存储器，被配置为至少存储向其登记的消息存储设备、消息处理设备、以及消息处理设备处理消息的目标存储分区的信息；检测器，被配置为在检测所述消息存储设备、消息处理设备的信息是否发生变化，并根据检测结果更新所述信息存储器中存储的消息存储设备、消息处理设备的信息；以及分配结果判断器，被配置为接收所述协调设备发送的分配结果，其中所述分配结果包括在所述信息存储器登记的某些消息处理设备所分配的处理消息的存储分区信息，判断所述分配结果中每个消息处理设备所分配的处理消息的存储分区信息与所述信息存储器中存储的该消息处理设备处理消息的目标存储分区的信息是否一致，若不一致，则对所述信息存储器中存储的该消息处理设备处理消息的目标存储分区的信息进行更新，并将更新后的信息发送通知给该消息处理设备。8.根据权利要求7所述的消息管理设备，所述消息处理设备的信息包括消息处理设备的物理位置标识，所述存储设备的信息包括消息存储设备的物理位置...

【专利技术属性】
技术研发人员：代兵，陈超，桂勇哲，朱超，王超，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：