传感器数据异常检测方法和系统技术方案

本发明专利技术提供了一种传感器数据异常检测方法和系统，包括一个节点内的多个传感器、通信模块、数据处理模块、第一网关和服务器，包括：传感器获取第一预设时间段内的传感数据；数据处理模块判断传感数据是否正常；若传感数据正常，则传感器将传感数据通过通信模块发送至第一网关；第一网关根据接收到的节点内的所有传感数据，和预设置的分类器，判断接收到的节点内的所有传感数据是否发生异常；若第一网关接收到的节点内的所有传感数据没有发生异常，则第一网关将接收到的节点内的所有传感数据发送至MQTT服务器。能够从传感器侧和第一网关侧准确检测出传感数据是否发生异常，提高服务和信息反馈的实时性，降低系统的数据传输量和服务器的负载。务器的负载。务器的负载。

【技术实现步骤摘要】
传感器数据异常检测方法和系统


[0001]本专利技术属于物联网
，尤其涉及一种传感器数据异常检测方法和系统。

技术介绍

[0002]随着物联网技术飞速发展，以传感器为基础的监测网络被广泛应用于各种环境监测和控制当中，如大棚监控、森林监测、安防监测等。
[0003]当前物联网监测体系中，所有的传感器数据都被直接传输到MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)服务器，通过存在云上的算法对对传感器采集的数据进行分析，由服务器进行异常数据的检测，然而系统中大量的数据上传和处理给MQTT服务器的带宽负载、实时性反馈、计算能力等方面带来了严峻考验。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种传感器数据异常检测方法和系统，能够提高系统的数据处理效率。
[0005]本专利技术实施例的第一方面提供了一种传感器异常数据检测方法，该方法应用于一种传感器数据异常检测系统，该系统包括一个节点内的多个传感器、所述节点的通信模块、所述节点的数据处理模块、第一网关和消息队列遥测传输MQTT服务器，所述第一网关与所述节点内的多个传感器通过所述通信模块进行通信，且所述第一网关与MQTT服务器通信，该方法包括：
[0006]针对所述多个传感器中的任一传感器，所述传感器获取第一预设时间段内的传感数据；
[0007]所述数据处理模块判断所述传感数据是否正常；
[0008]若所述传感数据正常，则所述传感器将所述传感数据通过所述通信模块发送至所述第一网关；
[0009]所述第一网关根据接收到的所述节点内的所有传感数据，和预设置的分类器，判断接收到的所述节点内的所有传感数据是否发生异常；
[0010]若所述第一网关接收到的所述节点内的所有传感数据没有发生异常，则所述第一网关将接收到的所述节点内的所有传感数据发送至所述MQTT服务器。
[0011]本专利技术实施例的第二方面提供了一种传感器数据异常检测系统，该系统包括一个节点内的多个传感器、所述节点的通信模块、所述节点的数据处理模块、第一网关和消息队列遥测传输MQTT服务器，所述第一网关与所述节点内的多个传感器通过所述通信模块进行通信，且所述第一网关与MQTT服务器通信，该系统用于实现如上第一方面所述方法的步骤。
[0012]本专利技术实施例提供一种传感器数据异常检测方法和系统，通过在MQTT服务器和传感器之间设置第一网关，使得第一网关位于系统的中间层，相比于MQTT服务器更加贴近物联网终端设备，第一网关能够向终端设备提供本地服务，提高服务及信息反馈的实时性，降低由于终端设备与MQTT服务器的远程交互所带来的时间延时，提高系统的数据处理效率，
降低系统整体的数据传输量。
附图说明
[0013]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0014]图1是本专利技术实施例提供的传感器数据异常检测方法的应用场景图；
[0015]图2是本专利技术实施例提供的传感器数据异常检测方法的实现流程图；
[0016]图3是本专利技术实施例提供的另一种传感器数据异常检测方法的实现流程图；
[0017]图4是本专利技术实施例提供的另一种传感器数据异常检测方法的实现流程图；
[0018]图5是本专利技术实施例提供的一种概率潜在语义分析模型PLSA示意图；
[0019]图6是本专利技术实施例提供的终端、网关或服务器的示意图。
具体实施方式
[0020]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0021]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
[0022]当前物联网监测体系中，所有传感器数据都被传输到MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)服务器，由服务器进行数据是否异常的判别，大量数据的上传及计算对服务器的带宽负载和计算能力带来的严重的考验，并且降低了服务器反馈的实时性。
[0023]针对这一问题，本申请提供了一种网关，并构建了一种新的传感器数据异常检测系统。图1为本专利技术实现传感器数据异常检测方法的应用场景图，并示出了本申请所提出的传感器数据异常检测系统，结合图1，该系统包括MQTT服务器，网关、传感器、通信模块和数据处理模块，其中，多个传感器组成一个节点，如图1中所示的节点1、节点2
……
节点n。一个节点中的所有传感器通过该节点所对应的通信模块与网关进行通信，一个节点中的数据处理模块用于处理该节点中所有传感器的数据，并可以用于该节点内所有其他的需要进行计算和控制的工作。可选的，该数据处理模块可以为一个单片机。一个节点中的传感器可以将传感数据统一的发送至该节点预设置的通信模块，由该通信模块将传感数据发送至该节点对应的网关。
[0024]为使实施例的表述更加清楚，在本专利技术实施例中，仅以服务器、网关、一个节点内的通信模块、数据处理模块和多个传感器作为一个系统进行说明。在实际应用中，节点的数量是海量的，一个网关与多个节点进行通信及数据的处理、传输，本专利技术实施例对此不再赘述。
[0025]基于上述传感器数据异常检测系统，本专利技术实施例提供一种传感器数据异常检测
方法，结合图2，该方法包括：
[0026]S101，针对多个传感器中的任一传感器，传感器获取第一预设时间段内的传感数据。
[0027]在物联网监测系统中，传感器节点，如图1所示的节点1、节点2
……
节点n，是整个系统的基础。在监测区域，大量的传感器节点被随机或有组织地投放出去，用以实时感知并采集环境数据。每一个节点都嵌入了温度、湿度、光照强度以及二氧化碳浓度等多个传感器，用以监测环境并实时检测。
[0028]在本专利技术实施例中，以一个传感器节点为例，该节点内的传感器获取同一预设时间段，即第一预设时间段的传感数据。
[0029]S102，数据处理模块判断传感数据是否正常。
[0030]在大规模物联网监测系统中，数据异常时常发生。造成数据异常的原因有多种，如监测环境中的突发事件和传感器自身的异常。无论是何种原因，数据异常都直接关联环境以及物联网系统自身的安全。因此，需要及时、准确地对数据异常进行检测。
[0031]可选的，节点的数据处理模块通过如下方式判断传感数据是否正常：若所述传感数据中存在大于第一预设值的数据，或所述传感数据中存在小于第二预设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种传感器数据异常检测方法，其特征在于，该方法应用于一种传感器数据异常检测系统，该系统包括一个节点内的多个传感器、所述节点的通信模块、所述节点的数据处理模块、第一网关和消息队列遥测传输MQTT服务器，所述第一网关与所述节点内的多个传感器通过所述通信模块进行通信，且所述第一网关与MQTT服务器通信，该方法包括：针对所述多个传感器中的任一传感器，所述传感器获取第一预设时间段内的传感数据；所述数据处理模块判断所述传感数据是否正常；若所述传感数据正常，则所述传感器将所述传感数据通过所述通信模块发送至所述第一网关；所述第一网关根据接收到的所述节点内的所有传感数据，和预设置的分类器，判断接收到的所述节点内的所有传感数据是否发生异常；若所述第一网关接收到的所述节点内的所有传感数据没有发生异常，则所述第一网关将接收到的所述节点内的所有传感数据发送至所述MQTT服务器。2.根据权利要求1所述的方法，其特征在于，该方法还包括：所述通信模块为超长距低功耗数据传输技术LoRa通信模块，所述第一网关为LoRaWAN网关。3.根据权利要求1所述的方法，其特征在于，所述数据处理模块判断所述传感数据是否正常包括:若所述传感数据中存在大于第一预设值的数据，或所述传感数据中存在小于第二预设值的数据，则所述传感数据异常；或，若所述传感数据中存在第一数据，所述第一数据的值与第二数据的值的比值大于等于第三预设值或小于等于第四预设值，则所述传感器数据异常，其中，所述第二数据为所述传感器采集的所述第一数据的前一个数据。4.根据权利要求1所述的方法，其特征在于，该方法还包括：所述服务器根据第二预设时间段的传感数据，对预设词袋模型进行训练，得到所述分类器；所述服务器将所述分类器发送至所述第一网关。5.根据权利要求4所述的方法，其特征在于，所述服务器根据第二预设时间段的传感数据，对预设词袋模型进行训练，得到所述分类器包括：获取M个预设传感器在第二预设时间段的传感数据，其中，M个预设传感器的对应V个传感器类型；根据所述M个预设传感器在所述第二预设时间段的传感数据，建立训练集；通过预设算法对所述训练集中的数据进行聚类，对每个聚类中心定义一个时空词，获得代码本，其中，每个主题词对应一种传感器类型，每个主题词对应所述代码本中的至少一个时空词；通过概率潜在语义模型PLSA获取所述训练集中每一组传感数据所对应的时空词；利用词袋模型对所述训练集进行学习，得到所述分类器，所述分类器的分类结果为数据正常...

【专利技术属性】
技术研发人员：褚云霞，张军，
申请(专利权)人：石家庄学院，
类型：发明
国别省市：