一种消息的处理方法、装置和系统制造方法及图纸

一种消息的处理方法、装置和系统，预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；所述预处理节点根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；所述预处理节点根据所述处理路径，至少将所述首消息发送给所述处理节点，以由所述查找到的规则实例进行处理。本申请还提供了相应的装置和系统。本申请通过建立消息的处理路径并按处理路径分发，可以在流式处理中，根据创建的规则实例实现对消息的处理。

A method, device and system for processing messages

A message processing method, device and system in which the preprocessing node receives the first message of the first event sent by the data source and finds a rule instance of the processing object including the first message in the rule instance created by the system; the preprocessing node establishes a processing path according to the rule instance found, and the processing is described. The path includes addressing information of the processing node where the found rule instance is located; according to the processing path, the preprocessing node sends at least the first message to the processing node for processing by the found rule instance. The application also provides corresponding devices and systems. By establishing a processing path of the message and distributing it according to the processing path, the application can realize the processing of the message in streaming processing according to the created rule instance.

【技术实现步骤摘要】
一种消息的处理方法、装置和系统
本专利技术涉及数据处理，更具体地，涉及一种消息的处理方法、装置和系统。
技术介绍
目前流式处理已经被大量用于电子商务、新闻聚合、社交网站、数据挖掘和机器学习等领域，流式处理具有低延迟、高性能、分布式、可扩展和容错的特点，可以方便的做到线程、进程、服务器级的扩展。目前已经有了很多成熟的流式处理框架，例如：storm、spark等。图1所示是流式处理的系统框架，在流式处理中，消息从一个或多个数据源出发，经过多个节点处理，图中的S1和S2为数据源，B1～B5为对消息进行处理的节点。流式处理的优势就在于消息处理的扩展能力，消息处理中的每个阶段都可以得到扩展，包括进程内的扩展和进程间的扩展。这样在硬件充足的境况下，可以达到消息处理能力的无限扩展。在电信领域，随着5G网络时代的来临，移动网络设备接入数量将得到极大提高，预计到了2020年，将有500亿移动设备接入网络。这样，随之而来的是网络管理设备数量的极大提升，网络管理软件需要处理大量的消息。引入流式处理可以极大的提升传统网管的消息处理能力，但传统网管有一些自己的业务要求，根据关联分析规则对消息的关联分析就是其中之一。以告警消息为例，网管系统中告警消息的关联分析用于找出不同事件产生的告警消息之间的关联关系，以确定告警产生的主要原因，使用户能够快速定位并解决问题。又如，网管系统中还存在根据归并规则对告警消息进行归并处理的需求，等等。在大数据分析领域，同样也有根据各种规则对消息进行处理的需求，例如对不同新闻事件的消息进行关联分析，对不同购买事件的消息进行归并处理等等。在流式处理中如何根据相应规则实现对消息的这些处理，是有待解决的问题。此外，某些特定消息需要按序处理，在流式处理时如何实现，也是有待解决的问题。
技术实现思路
本专利技术实施例提供了一种消息的处理方法，包括：预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；所述预处理节点根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；所述预处理节点根据所述处理路径，至少将所述首消息发送给所述处理节点，以在所述处理节点对所述首消息进行处理。本专利技术实施例还提供了一种消息的处理方法，包括：处理节点接收到预处理节点或上一处理节点发送的第一事件的消息；所述处理节点确定所述消息为所述第一事件的首消息时，利用所述处理节点上的相应规则实例对所述首消息进行处理。本专利技术实施例还提供了一种消息的预处理节点，包括：消息接收模块，用于接收数据源发送的消息；实例查找模块，用于在所述消息接收模块接收到第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；路径建立模块，用于根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；消息发送模块，用于根据所述处理路径，至少将所述首消息发送给所述处理节点。本专利技术实施例还提供了一种消息的处理系统，包括数据源、预处理节点和处理节点，其中：所述数据源，用于将第一事件的所有消息发送给同一预处理节点；所述预处理节点采用如权利要求12-15任一所述的预处理节点；所述处理节点，用于接收所述预处理节点发送的所述第一事件的消息，如确定所述消息为所述第一事件的首消息，利用所述处理节点上的所述查找到的规则实例对所述首消息进行处理。本专利技术实施例还提供了一种消息的处理装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术实施例方法的处理。本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本专利技术实施例方法的处理。上述实施例方案通过建立消息的处理路径并按处理路径分发，可以在流式处理中，根据创建的规则实例实现对消息的处理。附图说明图1是流式处理的示意图图2是本专利技术实施例一消息处理方法的流程图；图3是本专利技术实施例一预处理节点的模块图；图4是本专利技术实施例一处理节点执行的消息处理方法的流程图；图5是本专利技术实施例二对消息进行分阶段处理的示意图；图6是本专利技术实施例二对消息进行关联分析的流程图；图7是本专利技术实施例三对告警消息进行关联分析的示意图；图8是本专利技术实施例四对告警消息进行关联分析的示意图；图9是本专利技术实施例五对告警消息进行关联分析的示意图；图10是本专利技术实施例六对告警消息进行关联分析的示意图；图11是本专利技术实施例七对新闻数据进行关联分析的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。实施例一本实施例提供了一种消息的处理方法，可以在流式处理方式下，动态计算消息的处理路径，根据处理路径实现对消息的分发和处理。本实施例消息的处理系统可参见图1，采用流式处理框架如jstorm流处理框架，包括数据源和对消息进行处理的节点，这些节点分为两类，一类称为预处理节点，一类称为处理节点。其中，预处理节点用于从数据源接收事件的消息，建立消息的处理路径及将消息分发给处理节点，而处理节点在接收到消息后，利用根据处理规则建立的规则实例对消息进行处理。本实施例消息的处理方法如图2所示，包括：步骤110，预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；这里的“第一事件”中的“第一”，只是用于指代某一事件，并非指代特殊的事件。事件的首消息是数据源按时间顺序采集到的该事件的第一个消息。在一个示例中，所述规则实例包括根据关联分析规则创建的规则实例，所述第一事件为告警事件，第一事件的首消息是告警事件的产生消息，而对消息的处理是对消息进行关联分析。但本申请的事件不局限于此，如可以是设备执行的一个动作，也可以是发生的一件事情，等等。事件的消息可以是与事件相关的任何数据，同一事件的消息携带有该事件的键值，如可以是关键字，名称、标识等，通过键值可以识别出同一事件的所有消息。例如网管的告警，关键信息为网元，描述信息为告警产生的时间、描述等；对于新闻事件，可以定义关键信息为新闻产生的时间，描述信息为新闻涉及的人物，描述等。具体的关键信息的定义应该由应用根据实际的应用场景来定义。本实施例中，预处理节点和处理节点均为逻辑节点，而规则实例根据处理规则创建，可以在处理节点上运行以执行该处理规则的业务处理逻辑。在一个示例中，预处理节点和处理节点可以用进程或线程等具有处理能力的资源单元来实现，而规则实例是在处理节点上运行的程序。一个规则实例除了需要业务处理逻辑外，还需要定义该规则实例的处理对象，例如，在一个针对告警事件的消息进行关联分析的规则实例，可以通过限定条件定义处理对象，如通过指定网元标识和告警码，将处理对象定义为在指定网元产生的具有指定告警码的告警事件。本实施例在预处理节点中，保存系统已创建的规则实例的处理对象信息如上述限定条件，还可以保存规则实例的标识、参数、类型等其他信息。在另一实施例中，这些信息也可以保存在其他节点，预处理节点在需要使用时再从其他节点读取到这些信息。本实施本文档来自技高网...

【技术保护点】
1.一种消息的处理方法，包括：预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；所述预处理节点根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；所述预处理节点根据所述处理路径，至少将所述首消息发送给所述处理节点，以由所述查找到的规则实例进行处理。

【技术特征摘要】
1.一种消息的处理方法，包括：预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；所述预处理节点根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；所述预处理节点根据所述处理路径，至少将所述首消息发送给所述处理节点，以由所述查找到的规则实例进行处理。2.如权利要求1所述的处理方法，其特征在于：所述预处理节点建立所述处理路径之后，所述方法还包括：所述预处理节点保存所述处理路径，如接收到所述数据源发送的所述第一事件的后续消息，根据保存的所述处理路径将所述后续消息发送给所述处理节点。3.如权利要求1所述的处理方法，其特征在于：所述已创建的规则实例是根据一种或多种处理规则创建的，根据不同处理规则创建的规则实例所在的处理节点不同。4.如权利要求3所述的处理方法，其特征在于：所述已创建的规则实例分为一组或多组，根据同一处理规则创建的规则实例分为同一个组；所述预处理节点在已创建的规则实例中查找处理对象包括所述首消息的规则实例，包括：所述预处理节点分组查找规则实例，每一组至多查找到一个处理对象包括所述第一事件的规则实例。5.如权利要求3所述的处理方法，其特征在于：所述查找到的规则实例所在处理节点的寻址信息包括所述查找到的规则实例的标识；或者所述查找到的规则实例所在处理节点的寻址信息包括所述查找到的规则实例的标识和类型，其中，根据同一处理规则创建的规则实例的类型相同，根据不同处理规则创建的规则实例的类型不同。6.如权利要求1所述的处理方法，其特征在于：所述预处理节点至少将所述首消息发送给所述处理节点，包括：所述预处理节点将所述查找到的规则实例的参数和标识写入在所述首消息中发送给所述处理节点。7.如权利要求1-6中任一所述的处理方法，其特征在于：所述处理路径包括多个处理节点的寻址信息，所述预处理节点至少将所述首消息发送给所述处理节点，以由所述查找到的规则实例进行处理，包括：所述预处理节点将所述首消息和所述处理路径中第一个处理节点之后的所有处理节点的寻址信息发送给所述第一个处理节点；接收到所述首消息的每一处理节点利用该处理节点上的所述查找到的规则实例对所述首消息进行处理，在该处理节点不是所述多个处理节点中的最后一个处理节点时，还将所述首消息和所述处理路径中下一个处理节点之后的所有处理节点的寻址信息发送给所述下一个处理节点。8.如权利要求1-6中任一所述的处理方法，其特征在于：所述规则实例包括根据关联分析规则创建的规则实例。9.一种消息的处理方法，包括：处理节点接收到预处理节点或上一处理节点发送的第一事件的消息；所述处理节点确定所述消息为所述第一事件的首消息时，利用所述处理节点上的相应规则实例对所述首消息进行处理。10.如权利要求9所述的处理方法，其特征在于：所述处理节点接收到所述第一事件的消息时，还接收到所述第一事件的处理路径中后续处理节点的寻址信息；所述处理节点接收到所述寻址信息之后，所述方法还包括：所述处理节点保存所述寻址信息，根据所述寻址信息将所述首消息发送给所述后续处理节点；及，所述处理...

【专利技术属性】
技术研发人员：刘勇，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44