一种移动感知复杂事件并行处理方法及系统技术方案

本发明专利技术公开一种移动感知复杂事件并行处理方法。包括以下步骤：步骤1，数据划分：对当前operator产生的数据进行数据映射，将这些数据传输给对应的后续operator；分割属于不同查询范围的数据；步骤2，数据合并：属于同一个划分的数据传输至同一个operator，对数据进行排序，并提交给operator处理模块；步骤3，数据处理：步骤3.1，数据处理，对合并后的数据提交至operator处理模块进行处理；若存在后续operator，将处理后产生的结果转入步骤1；步骤3.2，范围处理结束信号发送，表明operator可以开始处理下一查询范围数据。在移动感知复杂事件处理环境下，通过并行处理来增加系统对输入数据量的负载上限和事件处理的吞吐率时，可以使用本发明专利技术。

Mobile sensing complex event parallel processing method and system

The invention discloses a parallel processing method for mobile sensing complex events. Includes the following steps: Step 1: data partitioning mapping data of the operator data, these data will be transmitted to subsequent operator corresponding; segmentation belong to different query range data; step 2: merge the data belong to the same division of the data transmission to the same operator, sorting data, and submitted to the operator processing module; step 3, step 3.1: data processing, data processing, combined data submitted to the operator processing module for processing; if there is a subsequent operator, the processing result into 1 steps; step 3.2, the range of processing end signal, show that the operator can start a range query processing data. In the mobile sensing complex event processing environment, the invention can use the invention to increase the load limit of the input data and the throughput rate of the event processing by parallel processing.

【技术实现步骤摘要】
一种移动感知复杂事件并行处理方法及系统
本专利技术涉及移动感知复杂事件处理领域，具体涉及一种移动感知复杂事件并行处理方法及系统。
技术介绍
随着我们进入大数据时代，应用规模不断扩大，系统内部和系统间的数据交换速度快速增长，流式数据处理技术出现在了公众的视野。区别于传统的大数据处理系统，流式数据处理系统在数据流上进行大数据处理，并实时返回处理结果，供上层应用程序使用。复杂事件处理技术作为流式数据处理技术的一种，在近年来受到了广泛的关注。复杂事件处理技术将数据流中的数据看作一个个事件，发掘这些事件潜在表达的语义，检测用户感兴趣的事件模式。这种功能使其在物联网，金融，医疗，互联网这些在复杂情景发生时需要快速做出关键决策的领域均有很好的应用。移动互联网的发展使复杂事件处理衍生出了一个分支，称为移动感知复杂事件处理。在移动场景下，用户对以位置为基准的一定范围内的复杂事件进行查询，并且这种范围随着用户的移动而改变。一条用户查询对应着一个称为operatorgraph的处理单元，每个operatorgraph又由若干个称为operator的处理节点及其之间的数据流构成。每个operator负责处理查询的一部分，其处理前续operator通过数据流发送的数据，产生结果后将其作为新的数据流输出至后续operator。相较于传统的复杂事件处理技术，移动感知复杂事件处理使用基于标记信息(MarkerMessage)的同步机制使operatorgraph能进行重配置，可以使开发者减少部署的operatorgraph总数，做到operatorgraph在多个范围内的复用，从而降低整个系统的资源开销与负载；并且，与传统模式相比，使用标记信息区分不同查询范围的事件，令其在查询结果的精确性上进行了提升，保证了查询结果的质量。另一方面，流式数据处理系统对扩展性和吞吐率的需求使其产生了新的架构——并行架构。在并行架构下，系统能横向扩展operator，使其具备更多的资源和更强的处理能力。这种扩展是动态的，即在运行时刻根据系统负载调整分配的资源量，防止资源过多或过少的分配。并行架构的引入使系统能应对更高的负载，获得更好的吞吐率效果。当前的移动感知复杂事件处理技术使用的是非并行架构，限制了系统的伸缩性，相较于并行架构难以提升其吞吐率。并且，将并行架构引入移动感知复杂事件处理时，后者的同步机制需要进行调整以适应并行架构，否则将无法保证查询结果的正确性。
技术实现思路
为了解决上述问题，本专利技术提出了一种移动感知复杂事件并行处理方法及系统，利用并行架构提升了移动感知复杂事件处理技术的吞吐率，提出了一种并行架构下的同步机制以消除并行化对查询结果的正确性带来的影响。本专利技术将移动感知复杂事件处理架构并行化，对数据流中的数据按照其主键的哈希值进行划分，形成多条子数据流，每条子数据流由一个operator的副本进行处理；同时对处理后的结果进行合并，形成一条新的数据流，交由后续节点处理。此外，本专利技术对以标记信息为基础的同步机制进行了重新设计，使其能在并行架构下正常工作，保证其处理移动环境数据所得出每个查询范围结果的正确性。技术方案：一种移动感知复杂事件并行处理方法，是一种支持移动感知复杂事件处理的处理节点operator进行横向扩展的编程方法。operator在处理事件的运行时刻包含多个副本，每个副本处理operator输入数据流的一个划分，从而并行地处理来自不同查询范围的、带有移动语义的数据，提升系统能够处理的输入数据率上限以及输出复杂事件的吞吐率。此外，本专利技术提出的一种并行移动感知复杂事件处理架构下的同步机制，能保证上述并行移动感知复杂事件处理过程产生的结果的正确性。本专利技术的方法具体包括包括以下步骤：步骤1，数据划分：对当前operator产生的数据进行数据映射，将这些数据传输给对应的后续operator；对属于不同查询范围的数据进行分割。数据映射与不同查询范围数据分割是同时进行的，没有先后之分。数据分割指的是使用标记信息机制，以类似批处理的形式将基于位置的、不同查询范围的数据提交给副本进行处理。步骤2，数据合并：属于同一个划分的数据传输至同一个operator，对数据进行排序，并提交给operator处理模块。数据提交的过程中，这些数据需要先被划分给对应的后续operator副本(一个副本的输出划分给多个后续副本)；某个副本在接收数据时，也会将多个前续副本的数据流中发来的数据进行合并。步骤3，数据处理：步骤3.1，数据处理，对合并后的数据提交至operator处理模块进行处理，若存在后续operator，将处理后产生的结果(事件)转入后续副本，继续步骤1：副本处理结果，对产生的结果进行数据映射，将这些数据传输给对应的后续operator；步骤3.2，范围处理结束信号发送，表明operator可以开始处理下一查询范围数据。接收前续副本的处理结果，进行步骤1。步骤1中进一步包含以下步骤：数据映射，将当前operator产生的数据分割不同查询范围，相同查询范围的数据发送至同一个后续operator；标记信息广播，在当前查询范围数据发送完毕后使用标记信息对所有数据流进行数据分割。上述数据划分方法，数据映射进一步包括，使用一致性哈希算法将数据流中的数据按照其主键映射生成新的数据流并传输至不同的operator，并且映射的同时保证数据之间的相对顺序与它们在原数据流中的相对顺序相同；数据映射中，保证不同operator生成的、需要同一个后续operator处理的数据发送至相同的operator中。上述数据划分方法，标记信息广播进一步包括，用户的查询范围更新后，向最低层次的每一条数据流末端插入一个标记信息数据；对数据流进行映射时，若读取到的是标记信息，则说明该数据流在前一个查询范围内的数据已映射完毕，此时向所有映射生成的子数据流末端插入一个新的标记信息，并暂停数据的发送。步骤2中进一步包括以下步骤：步骤2.1，数据收集，operator缓存前续operator发送给它的数据；步骤2.2，数据排序，operator对步骤2.1中缓存的数据按时间戳递增进行排序；步骤2.3，数据提交，operator将步骤2.2中排好序的数据提交给其处理模块。上述数据合并方法，数据收集进一步包括：operator以队列的形式缓存所有映射给它的数据流中的数据；一个operator包括多种数据流作为输入，每种数据流包括多条子数据流，分别对这些子数据流进行缓存。上述数据合并方法，数据排序进一步包括：operator对其缓存的数据分类，并对属于同一种数据流的数据按时间戳递增排列；每个缓冲区中有数据到来时，将其出列，并插入到对应的已排序队列中，直到缓冲区队列的顶端为标记信息。上述数据合并方法，数据提交进一步包括：对于同一种数据流，若其所有缓冲区队列中均只剩标记信息，则说明其当前范围数据的排序已结束，将排好序后的队列提交至operator的处理模块进行处理，并发送信号给各缓冲区对应的operator或数据源，允许其继续发送数据。上述数据处理方法进一步包括：数据处理，使用operator处理模块中预先定义的功能函数对提交的数据进行处理，并将处理结果以数据流的形式向后续operator输出；范围处理本文档来自技高网...

【技术保护点】
一种移动感知复杂事件并行处理方法，其特征在于，包括以下步骤：步骤1，数据划分：对当前operator产生的数据进行数据映射，将这些数据传输给对应的后续operator；对属于不同查询范围的数据进行分割；步骤2，数据合并：属于同一个划分的数据传输至同一个operator，对数据进行排序，并提交给operator处理模块；步骤3，数据处理：步骤3.1，数据处理，对合并后的数据提交至operator处理模块进行处理；若存在后续operator，将处理的结果作为当前operator产生的数据，转入步骤1；步骤3.2，范围处理结束信号发送，表明operator可以开始处理下一查询范围数据。

【技术特征摘要】
1.一种移动感知复杂事件并行处理方法，其特征在于，包括以下步骤：步骤1，数据划分：对当前operator产生的数据进行数据映射，将这些数据传输给对应的后续operator；对属于不同查询范围的数据进行分割；步骤2，数据合并：属于同一个划分的数据传输至同一个operator，对数据进行排序，并提交给operator处理模块；步骤3，数据处理：步骤3.1，数据处理，对合并后的数据提交至operator处理模块进行处理；若存在后续operator，将处理的结果作为当前operator产生的数据，转入步骤1；步骤3.2，范围处理结束信号发送，表明operator可以开始处理下一查询范围数据。2.根据权利要求1所述的移动感知复杂事件并行处理方法，其特征在于，所述步骤1中进一步包含以下步骤：步骤1.1，数据映射，将当前operator产生的数据分割不同查询范围，相同查询范围的数据发送至同一个后续operator；步骤1.2，标记信息广播，在当前查询范围数据发送完毕后使用标记信息对所有数据流进行分割。3.根据权利要求2所述的移动感知复杂事件并行处理方法，其特征在于：所述数据映射，使用一致性哈希算法将数据流中的数据按照其主键映射生成新的数据流并传输至不同的operator，并且映射的同时保证数据之间的相对顺序与它们在原数据流中的相对顺序相同；数据映射中，保证不同operator生成的、需要同一个后续operator处理的数据发送至相同的operator中。4.根据权利要求2所述的移动感知复杂事件并行处理方法，其特征在于：所述标记信息广播，用户的查询范围更新后，向最低层次的每一条数据流末端插入一个标记信息数据；对数据流进行映射时，若读取到的是标记信息，则说明该数据流在前一个查询范围内的数据已映射完毕，此时向所有映射生成的子数据流末端插入一个新的标记信息，并暂停数据的发送。5.根据权利要求1所述的移动感知复杂事件并行处理方法，其特征在于，步骤2中进一步包括以下步骤：步骤2.1，数据收集，operator缓存前续operator发送给它的数据；步骤2.2，数据排序，operator对步骤2.1中缓存的数据按时间戳递增进行排序；步骤2.3，数据提交，operator将步骤2.2中排好序的数据提交给其处理模块。6.根据权利要求5所述的移动感知复杂事件并行处理方法，其特征在于，所述数据收集：operator以队列的形...

【专利技术属性】
技术研发人员：胡昊，龚宇豪，匡宏宇，蔡昕辰，吕建，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32