一种基于分布式传感器的数据监测方法和系统技术方案

本发明专利技术请求保护一种基于分布式传感器的数据监测方法和系统，利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储；大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。其基于分布式系统，hadoop平台，对环境监测的数据进行多节点协同观测，基于多种传感器数据的数据进行整合分析，以可视化形式展示出多种传感器的整合数据，便于分散各个位置的环境管理人员的多维度环境监测。

【技术实现步骤摘要】
一种基于分布式传感器的数据监测方法和系统
本专利技术涉及智能控制
，，属于监控领域，具体地说是一种基于分布式传感器的数据监测方法和系统。
技术介绍
随着环保监控的要求越来越严格，环保监控大量涌现，环保监控的认知度和自动化体现的越来越先进。作为一个传统意义的产业，政府对环保这个行业的发展非常重视，为了促进和规范环保安全规范作业，加强对环保人员自动化管理，出台了很多规范。然而，许多环保的消防安全意识淡薄，存在很多安全隐患，一旦发生安全事故，将造成重大人员伤亡。杜绝环保的违规经营行为，有效预防安全事故。对污染排放进行监控十分必要，然而如果使用人力监控，做不到实时监控，而且人力资源的消耗大，不利于管理由于环境监测系统具有采样数据量大，传输距离远，以及环境条件差别大的特点，长期以来数据传输部分一直是人们关注的焦点。目前市场上的环境监测系统主要采用MODEM和电话机实现远程通信，但由于电话线具有通信速度慢，质量差的缺点，使环境监测系统的运用受到了局限。而当前世界是一个信息世界，信息的获取传输也逐步从有线过渡到无线。随着无线通信事业的发展，无线传输这一技术越来越多的为人们所熟悉，相应的产品也渗透到社会生活的各个领域，如无线抄表、数字图像传输、小区传呼、工业数据采集、非接触RF智能卡、安全防火系统、区域报警系统的数字信号传输等，而这一技术的最大作用便是优化数据传输系统的效率；如果能将这以技术运用于环境监测系统中，这将大大提高监测系统的工作效率，以及扩大监测系统的运用范围。ZigBee无线传感器网络技术以其设备成本低、网络的自组织性、节点设置灵活、数据传输安全可靠、功耗低等独特的优势，在设施环境监测信息化中展现出广阔的应用前景。ZigBee无线传感器节点可以收集土壤湿度、氮浓度、pH值、降水量、温度、环境湿度和CO2浓度等信息，然后将这些信息由无线传感器网络传送到中央控制设备供用户决策和参考。GSM网络覆盖面积大、使用范围广、信号稳定、易集成，可以作为无线监控预警系统与用户交互的功能模块。如现有技术中CN201210115647公开了一种分布式异构无线传感网络设施环境监测环境监控预警系统，CN201210429143公开了一种基于WIFI的分布式环境监测系统，但这些检测系统操作繁琐、图像不清晰、音频还原度低，并且不能够进行有效的管理，因此，亟待需要一种系统能够具有独立的视频监看、探头报警功能，对前端系统采集到的视频、报警信号，通过视频服务器，编码转换成网络数字信号，然后通过已有的网络连接，将视频、语音、报警信号上传至监控管理中心，达到实时规范管理的目的。
技术实现思路
本专利技术为解决当前环境数据监测过程中遇到的上述问题，提供了一种基于分布式传感器的数据监测方法和系统。本专利技术首先请求保护一种基于分布式传感器的数据监测方法，其特征在于：数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。本专利技术还请求保护一种基于分布式传感器的数据监测系统，其特征在于包括：采集模块，具体由数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；存储模块，利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；数据监测模块，具体由实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；可视化模块，对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。本专利技术所涉及的一种基于分布式传感器的数据监测方法和系统基于分布式系统，hadoop平台，对环境监测的数据进行多节点协同观测，基于多种传感器数据的数据进行整合分析，以可视化形式展示出多种传感器的整合数据，便于分散各个位置的环境管理人员的多维度环境监测。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。附图1为本专利技术所涉及的一种基于分布式传感器的数据监测方法的工作流程图；附图2为本专利技术所涉及的一种基于分布式传感器的数据监测方法系统的结构模块图。具体实施方式为了使得本专利技术的目的、技术方案和有点更加清楚，下面将结合附图对本专利技术进行详细描述。附图1为本专利技术所涉及的一种基于分布式传感器的数据监测方法的工作流程图；所述一种基于分布式传感器的数据监测方法，其特征在于：数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。进一步具体地，所述数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息，还包括：数据监测终端具有定位功能，能够通过GPS、北斗等方式获取终端位置信息；能够向数据监控中心上传位置信息；获得分布式系统下各个节点上的多种传感器和标准高精度环境质量采集设备的环境感知数据，各个节点上的数据采集装置具有向相邻节点发起数据采集请求、接收相邻节点发送数据、传感器数据的中继与路由、通过网络远程配置中心频率、发射功率等工作参数的功能；数据整合终端是整个环境监测系统的数据汇总和转发平台，面向各监测终端接收相关数据，同时面向服务器传输控制信息和传感器数据信息。所述数据采集终端应具有环境数据信息的采集、接入及处理功能，主要包括：具有接驳环境数据采集传感器，采集温度、湿度、风强、可吸入颗粒、雨水等环境数据的功能，接驳的传感器包括温度、湿度、风强、可吸入颗粒、雨水等传感器；具有信息处理功能，根据需要对接入的物联网传感数据进行专用处理，如传感数据组包解包、对传感节点控制指令的处理等；具有数据传送功能：能够通过3G/4G无线网络与物联网应用服务平台之间建立双向的数据通信，能够上传采集数据，能够接收下传的远程控制类信息等；具有数据缓存功能，能够对接入的传感数据等进行缓存；具有网络连接和传感器数据中继功能：能够接入430M无线传感器网络，能够接收相邻节点发送的数据，能本文档来自技高网...

【技术保护点】
1.一种基于分布式传感器的数据监测方法，其特征在于：数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。

【技术特征摘要】
1.一种基于分布式传感器的数据监测方法，其特征在于：数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息；利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存；实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据；对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据。2.如权利要求1所述的一种基于分布式传感器的数据监测方法，其特征在于：所述数据采集终端向数据监控中心提供环境感知数据并接收设备的配置及控制信息，还包括：数据监测终端具有定位功能，能够通过GPS等方式获取终端位置信息；能够向数据监控中心上传位置信息；获得分布式系统下各个节点上的多种传感器和标准高精度环境质量采集设备的环境感知数据，各个节点上的数据采集装置具有向相邻节点发起数据采集请求、接收相邻节点发送数据、传感器数据的中继与路由、通过网络远程配置中心频率、发射功率等工作参数的功能；数据整合终端是整个环境监测系统的数据汇总和转发平台，面向各监测终端接收相关数据，同时面向服务器传输控制信息和传感器数据信息。3.如权利要求1所述的一种基于分布式传感器的数据监测方法，其特征在于：所述利用hadoop大数据分析平台环境下存储方法对环境监测系统中的原始数据记录进行存储，得到每个节点上的多种传感器的校偏参数并保存，具体包括：保存采用Hadoop系统用Master/Slave架构搭建集群，根据定位日志中的时间和位置信息将日志数据进行层次划分，并分层存储，采取HBase与MySQL两种数据库相结合的方式进行存储，并在上层提供统一的数据显示接口，当客户端读取MySQL中的数据时，只需要调用接口提供的方法就能够达到目的，以及对内部的数据进行修改删除增加等操作，当客户端读取HBase中的数据时，同样也只需要调用接口提供的方法就能够达到目的，或者通过从MySQL中获取检索条件，再根据检索条件中的主键再在HBase中获取数据。4.如权利要求1所述的一种基于分布式传感器的数据监测方法，其特征在于：所述实时环境监测校正处理器接收传感器节点上传的环境质量监测数据并建立环境质量数据特征集合，大数据分析平台根据环境质量数据特征集合和保存的校偏参数计算得出实时的环境质量数据，具体包括：建立高精度环境质量采集设备所述一个时间周期内环境质量监测数据的特征集合，建立各个传感器节点与所述高精度环境质量采集设备相同时间周期内环境质量监测数据的特征集合，将高精度环境质量采集设备的测量值作为真实值，将每个传感器节点的测量值与真实值进行最小二乘式拟合，得到每个传感器节点的校偏方程参数，将每个传感器节点的校偏方程参数保存到大数据分析平台。5.如权利要求1所述的一种基于分布式传感器的数据监测方法，其特征在于：所述对其监测环境质量数据进行选择，然后利用的空间查询的功能，获得各个要素的属性值，利用表格和图形化展示进行展示监测区域实时监测数据，具体包括：调用Hadoop存储的查询接口层，通过Arcgis软件实现数据的可视化展示，在可视化展示之前还需要可视化预处理和可视化图形生成，所述可视化预处理主要是对统计数据规整以及统计数据空间化...

【专利技术属性】
技术研发人员：李斯嘉，王瑞锋，
申请(专利权)人：李斯嘉，王瑞锋，
类型：发明
国别省市：山东,37