一种大数据管理系统及方法技术方案

本发明专利技术提供了一种大数据管理系统及方法，其中该系统包括无线传感器网络和大数据管理平台，该方法包括：大数据管理平台从无线传感器网络处接收感知数据；所述大数据管理平台根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记；所述大数据管理平台通过报表形式展现已标记的感知数据。

A Large Data Management System and Method

The invention provides a large data management system and method, in which the system includes a wireless sensor network and a large data management platform. The method includes: a large data management platform receives sensing data from a wireless sensor network; the large data management platform determines the corresponding normal range of data according to the type of sensing data received, and normalizes the sensing data and the corresponding data. Range comparison, when the perceived data exceeds the normal range of the corresponding data, the perceived data is marked; the large data management platform presents the marked perceived data in the form of reports.

【技术实现步骤摘要】
一种大数据管理系统及方法
本专利技术涉及大数据
，具体涉及一种大数据管理系统及方法。
技术介绍
无线传感器网络是由大量无线传感器节点以自组织模式构成的网络，它具有传感器节点密度高、网络拓扑变化频繁以及节点功率、计算能力和数据存储能力较好等特点，使得无线传感器网络在环境监测军事、医疗健康、家庭智能监控和其他商业领域有着广泛的应用前景。然而，现有的无线传感器网络因传感器节点的能量有限，依然存在较多的缺陷。此外，无线传感器网络采集的数据构成的数据集合类似于大型的分布式数据库，需要由一个软件系统来进行管理。
技术实现思路
针对上述问题，本专利技术提供一种大数据管理系统及方法。本专利技术的目的采用以下技术方案来实现：本专利技术第一方面实施例提供了一种大数据管理系统，该系统包括无线传感器网络和大数据管理平台，所述的无线传感器网络包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台；所述大数据管理平台根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记，并通过报表形式展现已标记的感知数据。在本专利技术第一方面的一种能够实现的方式中，所述大数据管理平台还将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。本专利技术第二方面还提供了一种大数据管理方法，该方法包括：大数据管理平台从无线传感器网络处接收感知数据，所述的无线传感器网络包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台；所述大数据管理平台根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记；所述大数据管理平台通过报表形式展现已标记的感知数据。在本专利技术第二方面的一种能够实现的方式中，所述方法还包括：所述大数据管理平台将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。其中，在上述实施例的大数据管理系统及方法中，传感器节点采集的数据可以为各种数据格式，比如声音、温湿度、图像、视频等。本专利技术上述实施例基于无线传感器网络实现了感知数据的有效采集以及发送至大数据管理平台进行处理，且基于大数据管理平台实现了异常数据的分析和管理。本专利技术上述实施例还采用Hadoop技术实现了数据的部署和展示。采用无线传感器网络能够保障传感器设备的部署简单，不需要施工布线，减少成本及应用难度。附图说明利用附图对本专利技术作进一步说明，但附图中的实施例不构成对本专利技术的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。图1是本专利技术一个示例性实施例的一种大数据管理系统的结构示意框图；图2是本专利技术一个示例性实施例的一种大数据管理方法的流程示意图。附图标记：无线传感器网络1、大数据管理平台2。具体实施方式结合以下实施例对本专利技术作进一步描述。参见图1，本专利技术第一方面实施例提供了一种大数据管理系统，该系统包括无线传感器网络1和大数据管理平台2，所述的无线传感器网络1包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台2无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台2；所述大数据管理平台2根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记，并通过报表形式展现已标记的感知数据。在本专利技术第一方面的一种能够实现的方式中，所述大数据管理平台2还将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。如图2所示，本专利技术第二方面实施例还提供了一种大数据管理方法，该方法包括：S01大数据管理平台2从无线传感器网络1处接收感知数据，所述的无线传感器网络1包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台2无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台2；S02所述大数据管理平台2根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记；S03所述大数据管理平台2通过报表形式展现已标记的感知数据。在本专利技术第二方面的一种能够实现的方式中，所述方法还包括：所述大数据管理平台2将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。其中，在上述实施例的大数据管理系统及方法中，传感器节点采集的数据可以为各种数据格式，比如声音、温湿度、图像、视频等。本专利技术上述实施例基于无线传感器网络1实现了感知数据的有效采集以及发送至大数据管理平台2进行处理，且基于大数据管理平台2实现了异常数据的分析和管理。本专利技术上述实施例还采用Hadoop技术实现了数据的部署和展示。采用无线传感器网络1能够保障传感器设备的部署简单，不需要施工布线，减少成本及应用难度。在一个实施例中，传感器节点直接或者间接将采集的感知数据发送至对应的簇首，包括：(1)传感器节点与对应簇首的距离未超过当前的距离阈值时，直接将采集的感知数据发送至对应的簇首；(2)传感器节点与对应簇首的距离超过当前的距离阈值时，在其所在簇内相对于其距离簇首更近的传感器节点中，选择距离最近的传感器节点作为下一跳节点，将采集的感知数据发送至所述下一跳节点，以由本文档来自技高网...

【技术保护点】
1.一种大数据管理系统，其特征是，该系统包括无线传感器网络和大数据管理平台，所述的无线传感器网络包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台；所述大数据管理平台根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记，并通过报表形式展现已标记的感知数据。

【技术特征摘要】
1.一种大数据管理系统，其特征是，该系统包括无线传感器网络和大数据管理平台，所述的无线传感器网络包括汇聚节点、多个簇首和多个传感器节点，所述汇聚节点与所述大数据管理平台无线通信连接；每个传感器节点包括至少一个用于采集感知数据的无线传感器；每个传感器节点选择距离最近的簇首加入簇；传感器节点直接或者间接将采集的感知数据发送至对应的簇首，簇首接收的感知数据整合并发送至汇聚节点，以由汇聚节点将感知数据发送至所述大数据管理平台；所述大数据管理平台根据接收的感知数据类型确定相应的数据正常范围，将感知数据与相应的数据正常范围进行比较，当感知数据超出相应的数据正常范围时对该感知数据进行标记，并通过报表形式展现已标记的感知数据。2.根据权利要求1所述的一种大数据管理系统，其特征是，传感器节点直接或者间接将采集的感知数据发送至对应的簇首，包括：(1)传感器节点与对应簇首的距离未超过当前的距离阈值时，直接将采集的感知数据发送至对应的簇首；(2)传感器节点与对应簇首的距离超过当前的距离阈值时，在其所在簇内相对于其距离簇首更近的传感器节点中，选择距离最近的传感器节点作为下一跳节点，将采集的感知数据发送至所述下一跳节点，以由下一跳节点转发所述采集的感知数据，直至所述采集的感知数据发送至对应的簇首；所述距离阈值由簇首广播至簇内各传感器节点，簇首初始广播的距离阈值为：式中，DT0(B)为簇首B初始广播的距离阈值，Dmin0(B)为簇首B与其对应簇内最近的传感器节点的距离，Dmin1(B)为簇首B与其对应簇内次近的传感器节点的距离，n(B)为簇首B对应簇内传感器节点的数量，S(B)为簇首B的通信距离。3.根据权利要求2所述的一种大数据管理系统，其特征是，所述大数据管理平台还将接收的感知数据划分为等长的小数据块，并为每个小数据块构建一个map任务，每个map任务会对其最终的输出进行分区，map操作完成之后对划分的数据进行reduce操作，最后将输出结果输出到相应的输出分区，将数据结果通过报表形式展现。4.根据权利要求2所述的一种大数据管理系统，其特征是，簇首与汇聚节点的距离未超过预设的距离上限时，直接将收集的感知数据发送至汇聚节点，若与汇聚节点的距离超过预设的距离上限时，簇首在相对于其距离汇聚节点更近的其他簇首中，选择距离最近的簇首作为下一跳节点。5.一种大数据管理方法，其特征是，...

【专利技术属性】
技术研发人员：罗仕龙，
申请(专利权)人：苏州迈荣祥信息科技有限公司，
类型：发明
国别省市：江苏,32