基于压缩网络编码的WSN异常数据发现系统实现方法技术方案

本发明专利技术公开了一种基于压缩网络编码的WSN异常数据发现系统实现方法。将测量节点划分为不同的簇，每个簇选举簇头用于收集本簇每个测量周期和每个测量时隙的数据，簇内对每时隙的数据进行离散余弦变换的数据稀疏操作后执行压缩感知操作，使数据长度从N削减到M，且N>>M，同时，在各簇头向上游中继节点发送数据时进入广义蝶形网络，对不同压缩数据包进行随机线性网络编码，记录随机编码向量，使原本单位容量的链路同时传输不同簇内的数据，在数据译码重构阶段依靠Spark引擎与流式聚类做邻接处理，通过高斯约旦消元法将抽取的编码矩阵求逆获取压缩稀疏结果，通过基追踪算法恢复稀疏数据，最终实现原始测量数据的重构并输入到下一步的流式聚类中进行数据分析。 1

Implementation method of WSN abnormal data discovery system based on compressed network coding

The invention discloses a method for realizing WSN abnormal data discovery system based on compressed network coding. The measurement nodes are divided into different clusters. Each cluster election cluster head is used to collect each measurement period of the cluster and each measurement time slot. In the cluster, the compressed sensing operation is performed after data sparsity operation of the discrete cosine transform of each time slot, and the data length is reduced from N to M, and N>>M, at the same time, in the cluster heads. The upstream relay nodes send data into a generalized butterfly network, which encodes a random linear network of different compressed data packets and records random encoding vectors, so that the links of the original unit capacity transmit data in different clusters at the same time, and the Spark engine and flow clustering are used to deal with the data in the phase of data decoding reconstruction, and through Gauss. In Jordan elimination method, the compressed sparse result is obtained by extracting the extracted encoding matrix. The sparse data is restored by the base tracking algorithm, and the reconstruction of the original measurement data is finally realized and the data analysis is carried out in the next stream cluster. One

【技术实现步骤摘要】
基于压缩网络编码的WSN异常数据发现系统实现方法
本专利技术涉及WSN异常数据发现系统，尤其是涉及一种基于压缩网络编码的WSN异常数据发现系统实现方法。技术背景无线传感网是新兴的多
集成研究，融合了嵌入式系统，智能监控方案，传感器技术等，常用于智能家居，现代农场等进行环境智能监测。其中，异常数据发现是无线传感网系统重要用途，现在的常用手段是将现场采集数据通过GPRS等互联网接入模块传输到网络数据服务器上，存入数据库的数据进行定时扫描，超过阀值的数据进行预警。或者如已申请的专利(申请号201610979723.X)动态进行数据包解析进而直接流式判断数据是否属于超过阀值的异常环境特征数据。在专利申请201610979723.X的基础上，为了更好地发挥流式计算框架的作用，同时提高流式计算的数据吞吐量，增加WSN数据传输和处理效率，增强系统数据输入的整体稳定性，有必要进行进一步的研究。
技术实现思路
本专利技术的目的是提供一种基于压缩网络编码的WSN异常数据发现系统实现方法，从而应对WSN数据传输吞吐量不稳定的问题。实现本专利技术目的的技术解决方案为：一种基于压缩网络编码的WSN异常数据发现系统实现方法，该方法应用于WSN数据传输阶段，载体是WSN末梢数据终端和Spark计算平台；步骤如下：(1)构建WSN末梢数据终端；WSN中数据节点综合称为WSN末梢数据终端，包含有测量节点、中继节点和汇聚节点；其中，测量节点和中继节点的物理结构一致，按照在网络中角色的不同划分分为测量和中继功能；(2)WSN数据终端中各类型节点按簇汇聚数据组网和选举簇头，本簇内的数据在簇头上执行压缩感知操作，进行数据压缩后上传数据到中继节点；不同簇的数据在中继节点上采用网络编码的方式对数据包进行组合计算，将计算结果进行传输，进入汇聚节点；汇聚节点不处理数据，直接将收集的各簇内的环境数据通过GPRS互联网接入模块发送到数据云网关；(3)云网关进行环境数据的时隙内缓存，整时隙的全部数据被输入流式计算框架SparkStream进行数据的译码和重构，重构后的数据进行异常数据发现的流式k-means程序，进行快速聚类。本专利技术与现有技术相比，其显著优点为：(1)在WSN流式计算系统中引入压缩感知技术将数据链路上传输的数据尺寸进行了削减，压缩率为1-M/N，其中M＜＜N。在广义蝶形网络的数据传输阶段引入网络编码，使原本需要排队传输的链路同时传输数据，增加了网络数据吞吐量。(2)译码重构过程中不消耗汇聚节点计算资源，依靠Spark强大的计算能力进行数据处理，改进了传统的压缩感知和网络编码数据重构方式，将数据译码重构与数据深入计算处理邻接进行，提高了系统响应性。附图说明图1是本专利技术基于压缩网络编码的WSN异常数据发现系统实现方法数据处理过程。图2是本专利技术基于压缩网络编码的WSN异常数据发现系统实现方法的数据包格式。图3是汇聚节点的功能结构图。具体实施方式本专利技术基于压缩网络编码的WSN异常数据发现系统实现方法，包含以下步骤：1、构建WSN数据终端。WSN数据节点综合称为WSN数据终端，包含有测量节点，中继节点和汇聚节点。其中，测量节点和中继节点的物理结构一致，由于其在网络中角色的不同划分分为测量和中继功能。2、WSN数据终端中各类型节点组网方式是按簇选举簇头汇聚数据，不同簇之间采用压缩网络编码的方式传输数据，数据进入汇聚节点后不进行处理。汇聚节点不处理数据，直接将收集的各簇内的环境数据通过GPRS互联网接入模块发送到数据云网关，由云网关进行数据的时隙内缓存，整时隙的全部数据被输入流式计算框架SparkStream进行数据的译码和重构，重构后的数据进行异常数据发现的流式k-means程序，进行快速聚类。各节点组成结构包含传感器模块、WSN网内通信模块、供电模块以及控制器模块。各节点基础通信方式和成簇协议是按簇汇聚路由协议。该协议中，每轮数据传输可以分别划分为数据成簇与数据传输2个步骤。在成簇阶段，节点先随机生成随机，当该数据小于某阀值，该节点就能以簇头身份向外发出广播信号。而那些非簇头节点则根据信号强度，决定他们要加入哪个簇。进行数据传输阶段时，每簇的所有节点都向簇头发送测量数据，簇头则根据CSMA协议向上游中继或汇聚节点发送数据。此协议优势在于：簇头的随机选举使系统能量均衡，通信量减少，相应延长节点网络利用时间；缺点是使用一站式通信，尽管时延较小，却较大消耗功率。结合图3，WSN末梢数据终端设备包含三种类型的无线传感器节点，即数据测量节点，中继节点和汇聚节点。测量节点和中继节点在物理结构上是一致的，三种节点均由传感器模块，WSN网内通信模块，供电模块以及控制器模块组成。汇聚节点还包含GPRS转发模块，负责将数据上传到上位机进行进一步的实时监控处理。节点控制核心：WSN的汇聚节点采用MSP430微控制器模块做控制核心。MSP430系列芯片是工业级微型控制器，具有很高的处理器性能且优势在于低功耗，适用于能源较少的WSN节点。MSP430模块通过I/O接口获取光照，空气，土壤等传感器采集到的环境数据。在被选举为簇头的测量节点中，其控制核心将各传感器测量的环境数据根据时空相关性进行数据的稀疏操作和感知压缩，稀疏压缩结果被打包后通过控制串口发到WSN网内通信模块；对于中继节点，控制核心将接收到的稀疏压缩数据进行网络编码后发回到控制串口；在汇聚节点中，MSP430微控制核心接收下游簇头发送的压缩网络编码包，通过GPRS网络通信模块，直接发送到指定的互联网位置上去。传感器数据测量部分：传感器硬件包括：光照强度传感器BH1750FVI，空气温湿度传感器SHT10，土壤温湿度传感器HSTL-10STR。各设备分别测量节点所在位置的光照强度，空气温度，空气湿度，土壤温度和土壤湿度指标。微控制器核心MSP430通过I/O接口获取各传感器信号，按照各传感器的计算规则计算实际环境测量数据，完成环境数据压缩，编码，传输，汇聚等后续操作。WSN网内通信模块：WSN网内通信模块在硬件上由ZB-GPS模块和通信串口组成，ZB-GPS模块使用第二代通信芯片MC13213实现无线传输。在非汇聚节点中，ZB-GPS模块通过串口接收数据，传感器模块的压缩编码数据包被执行WSN网内广播，使数据包被汇聚节点所收集；在汇聚节点上，ZB-GPS模块对其接收到的数据根据节点ID来判断数据包来源，较低级别的包通过串口被放入微控制器的缓存区等待处理。GPRS互联网接入模块：GPRS模块主要功能是将WSN内的数据从现场终端输送到远程的网络位置，等待异常数据流式计算引擎的聚类分析。在系统中，GPRS是沟通WSN末梢数据终端与远程计算阶段的桥梁。2中涉及的压缩网络编码的WSN异常数据发现系统实现方法实现流程如下：第一步：确定分簇方式，并进行簇内的时钟初始化。WSN末梢数据终端被划分为多个数据测量的簇。第二步：测量节点感知感知环境数据并将本簇数据汇聚到簇头。第三步：测量时间被划分为测量周期，每个周期内测量内容包括五个测量时隙，每个时隙分别按顺序测量节点所在位置的光照强度，空气温度，空气湿度，土壤温室，土壤湿度。第四步：每个时隙的测量数据被发送到簇头，簇头执行压缩感知后进行网络广播。第五步：上层中继节点接收到压缩感本文档来自技高网...

【技术保护点】
1.一种基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：该方法应用

【技术特征摘要】
1.一种基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：该方法应用于WSN数据传输阶段，载体是WSN末梢数据终端和Spark计算平台；步骤如下：(1)构建WSN末梢数据终端；WSN中数据节点综合称为WSN末梢数据终端，包含有测量节点、中继节点和汇聚节点；其中，测量节点和中继节点的物理结构一致，按照在网络中角色的不同划分分为测量和中继功能；(2)WSN数据终端中各类型节点按簇汇聚数据组网和选举簇头，本簇内的数据在簇头上执行压缩感知操作，进行数据压缩后上传数据到中继节点；不同簇的数据在中继节点上采用网络编码的方式对数据包进行组合计算，将计算结果进行传输，进入汇聚节点；汇聚节点不处理数据，直接将收集的各簇内的环境数据通过GPRS互联网接入模块发送到数据云网关；(3)云网关进行环境数据的时隙内缓存，整时隙的全部数据被输入流式计算框架SparkStream进行数据的译码和重构，重构后的数据进行异常数据发现的流式k-means程序，进行快速聚类。2.根据权利要求1所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：步骤(1)中所述各节点组成结构包含传感器模块、WSN网内通信模块、供电模块以及控制器模块。3.根据权利要求1中所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于:步骤(1)中各节点基础通信方式和成簇协议是按簇汇聚路由协议。4.根据权利要求1中所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于:步骤(2)中所述数据执行压缩感知操作的实现流程如下：第1步：确定分簇方式，并进行簇内的时钟初始化；WSN末梢数据终端被划分为多个数据测量的簇；第2步：测量节点感知环境数据并将本簇数据汇聚到簇头；第3步：测量时间被划分为测量周期，每个周期内测量内容包括五个测量时隙，每个时隙分别按顺序测量节点所在位置的光照强度、空气温度、空气湿度、土壤温室和土壤湿度；第4步：每个时隙的测量数据被发送到簇头，簇头执行压缩感知后进行网络广播。5.根据权利要求4所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：第4步中所述的压缩感知方法实现步骤如下：步骤4.1：簇头对每个时隙内的簇内环境数据采用离散余弦变换，将时空相关性较强的原始环境测量数据x执行稀疏处理x＝Ψ×θ，使环境数据的稀疏结果θ满足压缩感知的k-稀疏要求，Ψ为稀疏向量；步骤4.2：对稀疏结果执行压缩感知操作，使时隙内数据长度从节点个数N变成...

【专利技术属性】
技术研发人员：杨余旺，李玉波，王颖，辛智斌，韩晨，叶磊，柯亚琪，夏吉安，
申请(专利权)人：南京海道普数据技术有限公司，
类型：发明
国别省市：江苏,32