物联网数据流处理方法、系统及装置制造方法及图纸

本发明专利技术公开了一种物联网数据流处理方法、系统及装置，该方法包括：获取实时传输的物联网数据；基于实时流规则引擎，对物联网数据进行流处理，其中，实时流规则引擎包括：实时流计算引擎和规则引擎；输出物联网数据的流处理结果。本发明专利技术能够提高与物联网设备对接的效率，加快物联网数据处理的实施进程，节省人力和时间成本。

Data Flow Processing Method, System and Device of Internet of Things

【技术实现步骤摘要】
物联网数据流处理方法、系统及装置
本专利技术涉及物联网领域，尤其涉及一种物联网数据流处理方法、系统及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。随着物联网技术的快速发展，流式数据呈现爆发式增长。目前，市场主要有三种对流式数据实时处理的引擎，分别是Flink引擎、Storm引擎和SparkTtreaming引擎。这三种数据处理引擎，均存在一些问题，主要包括如下几方面：①关于延迟。Flink引擎和Storm引擎是亚秒级别的低数据处理延迟；而SparkTtreaming引擎是秒级别的高数据处理延迟。②关于API级别。Storm引擎的API是低级别的，需要开发人员按照特定的Storm定义规则编写；Flink引擎和SparkTtreaming引擎的API是高级别的，其中，SparkTtreaming引擎容易对接Spark自己的生态栈，而Flink引擎提供了不同场景的类库。③关于易用性。Storm引擎不支持SQL流处理(SQLStreaming)；而Flink引擎和SparkTtreaming引擎都支持SQL流处理，其中，SparkTtreaming引擎支持SQL流处理的场景更深更广，Flink引擎只支持比较浅的SQL流处理。④关于技术成熟度，Storm引擎最高，其次是SparkTtreaming引擎，最后是Flink引擎。也即Storm引擎是目前最稳定的实时流处理引擎。由此，如何提供一种低数据处理延迟、高API级别，且易用性强的稳定实时流处理引擎，对海量物联网数据的实时流处理具有十分重要的意义。
技术实现思路
本专利技术实施例提供一种物联网数据流处理方法，用以解决现有数据流处理引擎直接用于海量物联网数据的实时流处理时存在不足的技术问题，该方法包括：获取实时传输的物联网数据；基于实时流规则引擎，对物联网数据进行流处理，其中，实时流规则引擎包括：实时流计算引擎和规则引擎；输出物联网数据的流处理结果。本专利技术实施例还提供一种物联网数据流处理装置，用以解决现有数据流处理引擎直接用于海量物联网数据的实时流处理时存在不足的技术问题，该装置包括：物联网数据获取模块，用于获取实时传输的物联网数据；物联网数据流处理模块，用于基于实时流规则引擎，对物联网数据进行流处理，其中，实时流规则引擎包括：实时流计算引擎和规则引擎；流处理结果输出模块，用于输出物联网数据的流处理结果。本专利技术实施例还提供一种物联网数据流处理系统，用以解决现有数据流处理引擎直接用于海量物联网数据的实时流处理时存在不足的技术问题，该系统包括：物联网设备，用于实时传输物联网数据；计算设备，与物联网设备通信，用于基于实时流规则引擎，对物联网数据进行流处理，以及输出物联网数据的流处理结果，其中，实时流规则引擎包括：实时流计算引擎和规则引擎。本专利技术实施例还提供一种计算机设备，用以解决现有数据流处理引擎直接用于海量物联网数据的实时流处理时存在不足的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的物联网数据流处理方法。本专利技术实施例还提供一种计算机可读存储介质，用以解决现有数据流处理引擎直接用于海量物联网数据的实时流处理时存在不足的技术问题，该计算机可读存储介质存储有执行上述物联网数据流处理方法的计算机程序。本专利技术实施例中，通过提供由实时流计算引擎和规则引擎结合构成的实时流规则引擎，对实时传输的物联网数据进行流处理，并输出流处理结果，实现了物联网数据接入、流计算处理和计算结果输出全自动化处理。通过本专利技术实施例能够提高与物联网设备对接的效率，加快物联网数据处理的实施进程，节省人力和时间成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中提供的一种物联网数据流处理方法流程图；图2为本专利技术实施例中提供的一种物联网数据流处理系统架构示意图；图3为本专利技术实施例中提供的一种物联网数据流处理的数据流向示意图；图4为本专利技术实施例中提供的一种物联网数据流处理装置示意图；图5为本专利技术实施例中提供的一种物联网数据流处理系统示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。本专利技术实施例中提供了一种物联网数据流处理方法，图1为本专利技术实施例中提供的一种物联网数据流处理方法流程图，如图1所示，该方法包括如下步骤：S101，获取实时传输的物联网数据。该物联网数据可以是任意一种物联网设备实时采集的数据，包括但不限于温度、时间等。S102，基于实时流规则引擎，对物联网数据进行流处理，其中，实时流规则引擎包括：实时流计算引擎和规则引擎。其中，实时流规则引擎可以是用于对实时传输的物联网数据进行流处理，并将流处理结果结构化存储至关系数据库的数据处理引擎。作为一种可选的实施方式，本专利技术实施例提供的物联网数据流处理方法中，实时流计算引擎可以为Storm引擎，规则引擎可以为Esper引擎，则上述S102具体可以通过Esper引擎和Storm引擎对物联网数据进行SQL流处理。通过本专利技术实施例，可以使得Storm引擎API和易用性上与其他数据流处理引擎提高到同等高度，且可以实现对流处理规则的修改，并在修改后实现热启动。可选地，在上述S102之后，本专利技术实施例提供物联网数据流处理方法还可以包括：监控物联网数据的处理情况。S103，输出物联网数据的流处理结果。可选地，可以通过配置数据输出规则，将不同物联网数据的流处理结果输出到不同的存储系统上。可选地，为了实现对数据处理规则的实时修改，并在修改后实现热启动(热启动是指在不停机的情况下，生效修改的配置或规则)，一种可选的实施例中，本专利技术实施例提供物联网数据流处理方法还可以包括：基于实时流规则引擎，配置物联网数据的数据处理规则，其中，数据处理规则包括如下至少之一：数据接入规则、数据流计算规则和数据输出规则。需要说明的是，本专利技术实施例上述S101至S103提供的物联网数据流处理方法，可以应用但不限于图2所示的物联网数据流处理系统架构中。相应地，图3示出了图2所示的物联网数据流处理系统的数据流向。如图2所示，该系统架构主要包括三部分：①数据接入部分。本专利技术实施例提供但不限于如下两种两种数据接入方式：(a)以消费消息队列方式接入物联网数据；(b)通过RestAPI接口接入物联网数据。②基于实时流规则引擎的数据流处理部分。根据实时流计算引擎(Storm引擎)结合规则引擎(Esper引擎)构建实时流规则引擎。通过实时流规则引擎中的实时流计算引擎(Storm引擎)对实时数据进行消费及结果输出功能加上规则引擎(Esper引擎)对数据流进行SQL流处理。③数据输出部分。本专利技术实施例提供多种数据源存储输出结果，实现计算结果输出规则可配置且实时生效。由上可知，本专利技术实施例提供本文档来自技高网...

【技术保护点】
1.一种物联网数据流处理方法，其特征在于，包括：获取实时传输的物联网数据；基于实时流规则引擎，对所述物联网数据进行流处理，其中，所述实时流规则引擎包括：实时流计算引擎和规则引擎；输出所述物联网数据的流处理结果。

【技术特征摘要】
1.一种物联网数据流处理方法，其特征在于，包括：获取实时传输的物联网数据；基于实时流规则引擎，对所述物联网数据进行流处理，其中，所述实时流规则引擎包括：实时流计算引擎和规则引擎；输出所述物联网数据的流处理结果。2.如权利要求1所述的方法，其特征在于，所述方法还包括：基于所述实时流规则引擎，配置所述物联网数据的数据处理规则，其中，所述数据处理规则包括如下至少之一：数据接入规则、数据流计算规则和数据输出规则。3.如权利要求1所述的方法，其特征在于，在基于实时流规则引擎，对所述物联网数据进行流处理之后，所述方法还包括：监控所述物联网数据的处理情况。4.如权利要求1至3任一项所述的方法，其特征在于，所述实时流计算引擎为Storm引擎，所述规则引擎为Esper引擎，基于实时流规则引擎，对所述物联网数据进行流处理，包括：通过所述Esper引擎和所述Storm引擎对所述物联网数据进行SQL流处理。5.一种物联网数据流处理装置，其特征在于，包括：物联网数据获取模块，用于获取实时传输的物联网数据；物联网数据流处理模块，用于基于实时流规则引擎，对所述物联网数据进行流处理，其中，所述实时...

【专利技术属性】
技术研发人员：白鑫磊，郑晓红，赵金彪，
申请(专利权)人：智链万源北京数字科技有限公司，
类型：发明
国别省市：北京,11