本发明专利技术公开了一种基于Hadoop的作物生长监控云平台及其实现方法。该平台数据采集终端获取采集点的环境数据，由终端控制器进行数据封包。采集终端之间通过其ZB-GPS模块按SMAC协议形成无线传感器网络WSN交换数据信息。WSN和Internet之间通过中继结点进行通信。中继结点获取来自WSN的数据包，转发到云数据存储集群的主机NameNode上，由运行在主机上的网络上位机进行数据拆包，将实时数据存储到关系型数据库，并将数据采集终端产生的历史数据导出为文件提交从机DataNode存储备份，并支持计算机和手机浏览器端访问在线监控网站。本发明专利技术实现了对作物生长环境的远程在线监控，使用WSN技术支持采集终端的动态变化，利用Hadoop平台存储海量传感器数据，从而实现对作物生长环境状态进行有效监控。
【技术实现步骤摘要】
【专利说明】
本专利技术涉及Hadoop云数据处理技术和无线传感器网络技术，具体是一种基于Hadoop云数据处理技术和无线传感器网络技术的作物生长监控云平台及其实现方法。
技术介绍
目前的作物生长远程监控系统主要分为两种形式:一种是采用无线传感器网络对多个传感器阵列的数据进行采集，使用串口通信利用计算机直接在田间或采集点进行数据处理，进而通过计算机发送到网站服务器上实现远程监控；另一种采用微处理器进行每单个点传感器数据采集，通过GPRS等网络通信技术将数据发送到服务器进行监控。对于方式1，直接在采集点布置计算机，造成成本的增加，不利于扩大系统的应用推广范围，且传感器与计算机接口较复杂。对于方法2，采集点个数有限，采集点数量动态伸缩性复杂。对服务器压力较大，硬件利用率较低。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供了一种。本系统传感器数据采集部分基于无线传感器网络WSN技术，解决了传感器阵列和数据采集点数量的动态伸缩问题；数据存储采用Hadoop云数据处理平台，解决了大量数据的存储和检索问题，缩减了传统方式下数据存储受制于关系型数据库的性能的情况，改善了大规模数据下数据库对数据计算与索引的响应性能，减少了大规模传感器数据存储和检索时的反应时间。本专利技术所采用的技术方案是:1、一种基于Hadoop的作物生长监控云平台，包括: 数据采集终端，用于采集作物生长过程中的环境指标，由作为结点控制器的STC89C52RC微控制器分别与传感器阵列、ZB-GPS模块连接构成；多个数据采集终端通过SMAC协议自组织成的无线传感器网络WSN ； Hadoop平台，包括主机NameNode和从机DataNodes，主机NameNode上运行网络上位机，接收来自WSN的不同位置的作物生长环境数据，拆包并将当日数据存储到主机NameNode上的关系型数据库，前日数据导出为文件提交给HDFS由从机DataNodes进行存储。一种权利要求1所述的基于Hadoop的作物生长监控云平台实现方法，步骤如下: 第一步:作为结点控制器的STC89C52RC微控制器分别与传感器阵列、ZB-GPS模块连接构成作物生长监控云平台的数据采集终端； 第二步:多个数据采集终端通过SMAC协议自组织成无线传感器网络WSN，数据采集终端采集不同位置的作物生长环境数据，这些数据通过WSN内中继结点转发到云平台的主机NameNode 上； 第三步:云平台的主机NameNode上运行网络上位机，接收来自WSN的不同位置的作物生长环境数据，拆包并将当日数据存储到主机NameNode上的关系型数据库，前日数据导出为文件提交给Hadoop的HDFS进行存储； 第四步:在主机NameNode上建立网站，用于查询HDFS存储的历史数据、关系型数据库中存储的当日数据和各项环境数据指标的历史数据走势图。主机NameNode获取用户通过网站发送的数据或曲线查询请求，分发任务到HDFS，由从机DataNodes对存储到不同位置的文件镜像块进行恢复，从而获取历史数据。反馈到网站中。网站通过JSP语言展示浏览界面，借助jchart插件实现各项环境数据指标的历史数据走势图。用户通过手机等联网设备，在线查询该云平台所监测的各终端实时数据和历史数据走势图等。本专利技术与现有技术相比，其显著优点:通过无线传感器网络技术，扩大了作物生长监控数据采集点范围，包括传感器的种类和采集点的数量。动态改变作物生长监测数据采集点数量，不影响系统的稳定性。通过以传感器阵列形式布置的数据采集终端，扩展了环境传感器的种类。另外，本专利技术实现了对海量传感器历史数据的云存储功能。云平台的数据采集终端传感器在运行时产生大量有效的历史数据信息，通过Hadoop云平台进行存储，提高了数据存储能力，优化了海量数据的检索速度；同时采用与关系型数据库存储当日信息的数据存储方式相结合的方式，实现了传感器数据存储方式的优化。兼顾了系统成本的节约与系统性能体验。【附图说明】图1为本专利技术的系统整体框架结构图。图2为传感器数据文件在Hadoop集群内的存储和恢复图。【具体实施方式】本专利技术从技术实现和功能逻辑上划分为三个层面:作物生长监测云平台的数据采集层，大量云数据存储层和作物生长信息查询监控层。数据采集层采用无线传感器网络技术实现。传感器部署以采集终端为单位，每个采集终端搭载一个传感器阵列，每个传感器阵列由光照传感器，空气温湿度传感器和土壤温湿度传感器组成。各传感器阵列与微控制器STC89C52RC和SMAC协议支持部件ZB-GPS组成作物生长云平台的数据采集终端，实现对终端所在位置环境数据的采集，封包和无线发送。其中，ZB-GPS模块由芯片MC13213支持SMAC协议的实现。在数据采集终端与传输中继结点之间采用SMAC协议进行通信，添加一个采集终端时，该节点的ZB-GPS模块广播一个wake-up信号，中继结点接收到该信号，获取到该结点的编号码，从而将其动态加入无线传感器采集网络中。在数据采集层和大量数据处理支持层之间，依靠中继结点进行通信。中继结点作为转发中枢，通过其搭载的ZB-GPS模块，利用SMAC协议，接收采集网络中的传感器数据。继而，将传感器网络内部数据通过GPRS模块向Internet服务器进行发送。数据采集终端的传感器阵列获取到所在位置的环境数据后，经过微控制器STC89C52RC处理获得每项环境指标，将他们按照“结点号光照空气温湿度土壤温湿度结束位”的格式封装成有效信息数据包，输出到串口。微控制器的串口在物理上连接ZB-GPS模块，该模块对接收到的有效信息数据包增加向中继结点的传输地址等信息，再次封装成符合SMAC协议的无线传感器网络通信数据包，通过SMAC协议输出到中继结点。中继结点在硬件上包含结点控制器STC89C52RC和支持SMAC协议的ZB-GPS模块以及实现TCP/IP通信的GPRS模块组成。其中，ZB-GPS模块负责通过SMAC协议与云平台的各数据采集终端通信，获取无线传感器网络中传输来的数据包。结点控制器负责协调通信，处理传感器数据包，获取有效信息，并将这些信息封装成IP数据包，输出到串口，串口连接GPRS模块，将数据包按照TCP/IP协议通过Internet发送到云数据处理平台NameNode主机上，由运行在上面的上位机接收IP数据包。上位机解析接收到的IP数据包，获取有效信息存入本地数据库。在云数据存储层，采用Hadoop云数据平台处理WSN获取的数据。Hadoop平台从逻辑上将集群内机器分为一台主机NameNode和若干从机DataNode。集群内机器为普通计算机，通过运行CentOS系统和Hadoop平台组成集群，具有良好的数据存储和处理能力，同时节约了大量的高性能数据库成本。运行在主机NameNode的上位机负责接收数据采集层通过TCP/IP协议发送的数据包，并解析获取各传感器采集终端的数据信息，将接收到的数据信息存入数据库，并将前一日的数据输出为文本文件，提交给HDFS存储，同时删除这些数据在数据库内的文件。实现海量历史数据信息的云存储。同时使用关系型数据库存储当日的数据信息，实时显示在数据信息查询网站上。NameNode的存储机制是:提交的传感器数据文本文件本文档来自技高网...
【技术保护点】
一种基于Hadoop的作物生长监控云平台，其特征在于包括：数据采集终端，用于采集作物生长过程中的环境指标,由作为结点控制器的STC89C52RC微控制器分别与传感器阵列、ZB‑GPS模块连接构成；多个数据采集终端通过SMAC协议自组织成的无线传感器网络WSN；Hadoop平台，包括主机NameNode和从机DataNodes，主机NameNode上运行网络上位机，接收来自WSN的不同位置的作物生长环境数据，拆包并将当日数据存储到主机NameNode上的关系型数据库，前日数据导出为文件提交给HDFS由从机DataNodes进行存储。
【技术特征摘要】
【专利技术属性】
技术研发人员：杨余旺，李玉波，叶磊，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。