一种基于大数据的环境监测平台及方法技术

本申请提供一种基于大数据的环境监测平台及方法，监测平台包括数据接口模块、并行计算储存模块、数据处理模块、应用表示模块、加密模块和解密模块。并行计算储存模块提供并行式计算和数据存储服务。数据接口模块是平台数据的唯一来源，用于采集原始数据，原始数据包括环保部门的监测数据、第三方数据、互联网数据以及用户上传数据等。原始数据可以加密上传，加密后的数据解密后可用于计算分析。数据处理模块对所述原始数据进行统计分析和挖掘预警，得到成果数据。应用表示模块将成果数据进行分类展示。本申请提供的一种基于大数据的环境监测平台及方法，可以把整个地区的环境情况展现给公众，实现对环境动态变化的监督和预测，提高环境管理效率。高环境管理效率。高环境管理效率。

【技术实现步骤摘要】
一种基于大数据的环境监测平台及方法


[0001]本申请涉及环境监测
，尤其涉及一种基于大数据的环境监测平台及方法。

技术介绍

[0002]随着经济水平的提高，我国频繁出现一些环境污染问题，为减少环境污染事件的发生，我国建立了大量的环境监测系统对生态环境进行现状评估以及趋势预测。但是传统的环境监测系统因为顶层设计的缺乏，存在大量数据孤岛，信息化整体性低，对信息安全的问题缺乏考虑。并且，环境管理工作存在制度衔接不流畅、数据相互矛盾等诸多问题，因为不同的环境管理制度的管理目的与需求指标不同，不同的环境管理部门往往各自独立建立对应的信息系统，企业需要同时应对不同管理部门的不同业务要求，经常发生重复性工作，降低了环境管理效率。

技术实现思路

[0003]本申请提供了一种基于大数据的环境监测平台及方法，以解决传统的环境监测效率低的问题。
[0004]一方面，本申请提供一种基于大数据的环境监测平台，包括：数据接口模块、并行计算储存模块、数据处理模块和应用表示模块。所述数据接口模块分别与所述并行计算储存模块和所述应用表示模块建立通信连接，所述并行计算储存模块与所述数据处理模块建立通信连接，所述数据处理模块与所述应用表示模块建立通信连接。
[0005]所述数据接口模块被配置为，获取原始数据并将所述原始数据输入到所述并行计算储存模块，所述原始数据包括环保部门的实时监测数据和历史监测数据、第三方采集数据、互联网抓取数据以及市民上传数据。
[0006]所述并行计算储存模块被配置为提供并行式计算和数据存储服务。
[0007]所述数据处理模块被配置为，获取所述原始数据并对所述原始数据进行统计分析和挖掘预警，得到成果数据。
[0008]所述应用表示模块被配置为，获取成果数据并将所述成果数据可视化展示。
[0009]在一种实现方式中，所述数据接口模块包括实时监测数据采集单元、历史监测数据导入单元、第三方数据采集单元、互联网数据采集单元、市民上传单元和数据输出单元。
[0010]所述实时监测数据采集单元被配置为获取环保部门的所述实时监测数据。
[0011]所述历史监测数据导入单元被配置为获取环保部门的所述历史监测数据。
[0012]所述第三方数据采集单元被配置为获取所述第三方采集数据。
[0013]所述互联网数据采集单元被配置为获取所述互联网抓取数据。
[0014]所述市民上传单元被配置为获取所述市民上传数据。
[0015]所述数据输出单元被配置为输出所述成果数据。
[0016]在一种实现方式中，本申请提供的基于大数据的环境监测平台还包括加密模块和
解密模块。所述加密模块分别与所述数据接口模块和所述并行计算储存模块建立通信连接，所述解密模块分别与所述并行计算储存模块和所述数据处理模块建立通信连接。
[0017]所述加密模块被配置为，对所述原始数据做加密处理，得到加密数据。
[0018]所述解密模块被配置为，获取所述加密数据，对所述加密数据进行解密得到解密数据。
[0019]在一种实现方式中，所述并行计算储存模块进一步被配置为储存原始数据、中间数据以及成果数据。所述原始数据包括所述解密数据，所述中间数据包括所述加密数据和所述数据处理模块对所述原始数据进行计算和分析的过程中产生的数据。所述并行计算储存模块包括数据缓冲单元、基础数据单元、数据汇总单元和数据应用单元。
[0020]所述数据缓冲单元被配置为，对所述原始数据、中间数据以及成果数据进行压缩，并按时间维度分区储存，得到缓冲数据。
[0021]所述基础数据单元被配置为，获取所述缓冲数据，对所述缓冲数据根据进行分解得到分解数据。
[0022]所述数据汇总单元被配置为，对所述分解数据根据监控指标进行汇总，所述监控指标包括天气、温度、湿度、风向、风速以及风力。
[0023]所述数据应用单元被配置为，将所述根据监控指标汇总的数据进行储存。
[0024]在一种实现方式中，所述数据处理模块包括处理单元和预测单元。
[0025]所述处理单元被配置为，对所述原始数据根据不同的监控指标进行统计分析，获得统计数据。
[0026]所述预测单元被配置为，建立预测模型，分析潜在的环境问题并发出警报。
[0027]在一种实现方式中，所述应用表示模块获取成果数据并将所述成果数据可视化展示包括：
[0028]将所述成果数据根据地区、管理功能进行分类，获取分类数据。
[0029]将所述分类数据通过所述数据输出单元发送到电子大屏幕、网页和手机应用进行展示。
[0030]另一方面，本申请提供一种基于大数据的环境监测方法，应用于上述基于大数据的环境监测平台，包括：
[0031]所述数据接口模块获取原始数据并将所述原始数据输入到所述并行计算储存模块；所述原始数据包括核心数据、第三方采集数据、互联网抓取数据以及市民上传数据，所述核心数据包括环保部门的实时监测数据和历史监测数据；
[0032]所述并行计算储存模块对所述原始数据进行储存；
[0033]所述数据处理模块获取所述原始数据并对所述原始数据进行统计分析和挖掘预警，得到成果数据；
[0034]所述应用表示模块获取成果数据并将所述成果数据可视化展示。
[0035]本申请提供一种基于大数据的环境监测平台及方法，监测平台包括数据接口模块、并行计算储存模块、数据处理模块、应用表示模块、加密模块和解密模块。并行计算储存模块提供并行式计算和数据存储服务。数据接口模块是平台数据的唯一来源，用于采集原始数据，原始数据包括环保部门的监测数据、第三方数据、互联网数据以及用户上传数据等。原始数据可以加密上传，加密后的数据解密后可用于计算分析。数据处理模块对所述原
始数据进行统计分析和挖掘预警，得到成果数据，应用表示模块将成果数据进行分类展示。本申请提供的一种基于大数据的环境监测平台及方法，形成一个完整的环境数据智能采集、分析发布、监控体系，可以把整个地区的环境情况展现给公众，实现对环境动态变化的有效监督和预测，提高环境管理效率。
附图说明
[0036]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1为本申请实施例提供的一种基于大数据的环境监测平台的结构示意图；
[0038]图2为本申请实施例提供的并行计算储存模块的服务器集群框架结构示意图。
具体实施方式
[0039]下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
[0040]参见图1，为本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的环境监测平台，其特征在于，包括：数据接口模块(1)、并行计算储存模块(2)、数据处理模块(3)和应用表示模块(4)；所述数据接口模块(1)分别与所述并行计算储存模块(2)和所述应用表示模块(4)建立通信连接；所述并行计算储存模块(2)与所述数据处理模块(3)建立通信连接；所述数据处理模块(3)与所述应用表示模块(4)建立通信连接；所述数据接口模块(1)被配置为，获取原始数据并将所述原始数据输入到所述并行计算储存模块；所述原始数据包括环保部门的实时监测数据和历史监测数据、第三方采集数据、互联网抓取数据以及市民上传数据；所述并行计算储存模块(2)被配置为，提供并行式计算和数据存储服务；所述数据处理模块(3)被配置为，获取所述原始数据并对所述原始数据进行统计分析和挖掘预警，得到成果数据；所述应用表示模块(4)被配置为，获取成果数据并将所述成果数据可视化展示。2.根据权利要求1所述的基于大数据的环境监测平台，其特征在于，所述数据接口模块(1)包括实时监测数据采集单元、历史监测数据导入单元、第三方数据采集单元、互联网数据采集单元、市民上传单元和数据输出单元；所述实时监测数据采集单元被配置为获取环保部门的所述实时监测数据；所述历史监测数据导入单元被配置为获取环保部门的所述历史监测数据；所述第三方数据采集单元被配置为获取所述第三方采集数据；所述互联网数据采集单元被配置为获取所述互联网抓取数据；所述市民上传单元被配置为获取所述市民上传数据；所述数据输出单元被配置为输出所述成果数据。3.根据权利要求1所述的基于大数据的环境监测平台，其特征在于，还包括加密模块(5)和解密模块(6)；所述加密模块(5)分别与所述数据接口模块(1)和所述并行计算储存模块(2)建立通信连接；所述解密模块(6)分别与所述并行计算储存模块(2)和所述数据处理模块(3)建立通信连接；所述加密模块(5)被配置为，对所述原始数据做加密处理，得到加密数据；所述解密模块(6)被配置为，获取所述加密数据，对所述加密数据进行解密得到解密数据。4.根据权利要求3所述的...

【专利技术属性】
技术研发人员：刘娇龙，曹敏，刘斯扬，聂永杰，廖耀华，陈叶，王恩，李博，李波，
申请(专利权)人：云南电网有限责任公司电力科学研究院，
类型：发明
国别省市：