一种用于水环境监管的大数据分析处理系统及方法技术方案

本发明专利技术属于水环境监管的技术领域，具体涉及一种用于水环境监管的大数据分析处理系统及方法；解决的技术问题为：提供一种能够使上级主管部门对各个子系统的监管数据进行统一、有效的监管和分析，并且效率较高的用于水环境监管的大数据分析处理系统及方法；采用的技术方案为：一种用于水环境监管的大数据分析处理系统，包括：采集模块、缓存模块、预处理模块、标准化模块、数据池、分析模块和分析报告生成模块；本发明专利技术适用于水务领域。

【技术实现步骤摘要】

本专利技术属于水环境监管的
，具体涉及一种用于水环境监管的大数据分析处理系统及方法。
技术介绍
水环境的监管包括农村的生活污水治理、河道管理以及工业废水排放等相关环境的监管，各个子系统建立了各自的水环境监测系统对各自范围内的水环境进行实时监测。但上级主管部门缺乏对相关系统进行统一、有效的监管和数据分析能力，所有的监管数据均由各级部门逐级统计上报，缺乏时效性，不利于上级主管部门的统一监管和数据分析；而现在的数据统计分析大多以人工为主、计算机为辅，数据分析的标准不统一，数据分析处理的效率和准确率都较低。
技术实现思路
本专利技术克服现有技术存在的不足，所要解决的技术问题为：提供一种能够使上级主管部门对各个子系统的监管数据进行统一、有效的监管和分析，并且效率较高的用于水环境监管的大数据分析处理系统及方法。为了解决上述技术问题，本专利技术采用的技术方案为：一种用于水环境监管的大数据分析处理系统，包括：采集模块：用于采集原始监管数据；缓存模块：用于存储原始监管数据；预处理模块：用于筛选原始监管数据，获得有效监管数据；标准化模块：用于对有效监管数据进行标准化处理，获得标准监管数据；数据池：用于存储标准监管数据；分析模块：用于对标准监管数据进行分析和处理；分析报告生成模块：用于根据分析和处理的结果，生成分析报告。可选地，所述的一种用于水环境监管的大数据分析处理系统还包括：处理模型建立模块：用于建立数据处理模型，以便所述标准化模块根据所述数据处理模型，对有效监管数据进行标准化处理；分析模型建立模块：用于建立数据分析模型，以便所述分析模块根据所述数据分析模型，对标准监管数据进行分析和处理。可选地，所述标准化模块包括：索引建立单元：用于根据数据处理模型，为监管数据建立统一的数据索引；格式调整单元：用于根据数据处理模型的数据格式，对监管数据进行格式调整，建立统一格式的标准监管数据。可选地，所述分析模型建立模块包括：神经网络形成单元：用于根据大数据分析处理系统的网络节点，建立数据分析模型神经网络；训练单元：用于利用所述数据池存储的标准监管数据，训练所述数据分析模型神经网络的模型参数；优化单元：用于利用所述数据池存储的标准监管数据，优化被训练过的数据分析模型神经网络，得到数据分析模型。可选地，所述的一种用于水环境监管的大数据分析处理系统还包括：第一触发模块：用于触发所述采集模块进行数据采集；第二触发模块：用于触发所述分析模块进行数据分析和处理。相应地，一种用于水环境监管的大数据分析处理方法，包括以下步骤：S101、采集原始监管数据；S102、存储原始监管数据；S103、筛选原始监管数据，获得有效监管数据；S104、对有效监管数据进行标准化处理，获得标准监管数据；S105、存储标准监管数据；S106、对标准监管数据进行分析和处理；S107、根据分析和处理的结果，生成分析报告。可选地，步骤S104之前，还包括以下步骤：建立数据处理模型，以便根据所述数据处理模型，对有效监管数据进行标准化处理；步骤S106之前，还包括以下步骤：建立数据分析模型，以便根据所述数据分析模型，对标准监管数据进行分析和处理。可选地，步骤S104具体包括：根据数据处理模型，为监管数据建立统一的数据索引；根据数据处理模型的数据格式，对监管数据进行格式调整，建立统一格式的标准监管数据。可选地，所述建立数据分析模型，以便根据所述数据分析模型，对标准监管数据进行分析和处理，具体包括：根据大数据分析处理系统的网络节点，建立数据分析模型神经网络；利用标准监管数据，训练所述数据分析模型神经网络的模型参数；利用标准监管数据，优化被训练过的数据分析模型神经网络，得到数据分析模型。可选地，步骤S101中，收到触发信号后开始采集原始监管数据；步骤S106中，收到触发信号后开始进行数据分析和处理。本专利技术与现有技术相比具有以下有益效果：1、本专利技术通过数据标准化，支持跨系统、大数据的分析处理，便于上级主管部门进行数据分析，以此达到对下级各级部门工作的统一、有效的监管和数据分析；此外，通过数据筛选，剔除了无用数据，消减了数据冗余，提高了数据运算效率，便于充分利用历史监管数据，提高了整个系统的工作效率。2、本专利技术通过分析模型的建立，降低了对相关业务人员的能力要求，提高了数据运算效率和准确度，并从侧面提高了数据分析工作的保密性。附图说明下面结合附图对本专利技术做进一步详细的说明；图1为本专利技术实施例一提供的一种用于水环境监管的大数据分析处理系统的结构示意图；图2为本专利技术实施例二提供的一种用于水环境监管的大数据分析处理系统的结构示意图；图3为本专利技术实施例三提供的一种用于水环境监管的大数据分析处理系统的结构示意图；图4为本专利技术实施例一提供的一种用于水环境监管的大数据分析处理方法的流程示意图；图中：101为采集模块，102为缓存模块，103为预处理模块，104为标准化模块，1041为索引建立单元，1042为格式调整单元，105为数据池，106为分析模块，107为分析报告生成模块，108为处理模型建立模块，109为分析模型建立模块，1091为神经网络形成单元，1092为训练单元，1093为优化单元，110为第一触发模块，111为第二触发模块。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例一提供的一种用于水环境监管的大数据分析处理系统的结构示意图，如图1所示，一种用于水环境监管的大数据分析处理系统，可包括：采集模块101：用于采集原始监管数据。缓存模块102：用于存储原始监管数据。预处理模块103：用于筛选原始监管数据，获得有效监管数据。标准化模块104：用于对有效监管数据进行标准化处理，获得标准监管数据。数据池105：用于存储标准监管数据。分析模块106：用于对标准监管数据进行分析和处理。分析报告生成模块107：用于根据分析和处理的结果，生成分析报告。本实施例中，所述采集模块101可从各个水环境监管子系统或现场设备处采集原始监管数据；所述预处理模块103根据既定的数据预处理规则对所述缓存模块102中存储的待处理的原始监管数据进行数据筛选和预处理，剔除无用数据、失效数据，保留有效数据。图2为本专利技术实施例二提供的一种用于水环境监管的大数据分析处理系统的结构示意图，如图2所示，一种用于水环境监管的大数据分析处理系统，还可包括：处理模型建立模块108：用于建立数据处理模型，以便所述标准化模块104根据所述数据处理模型，对有效监管数据进行标准化处理。分析模型建立模块109：用于建立数据分析模型，以便所述分析模块106根据所述数据分析模型，对标准监管数据进行分析和处理。具体地，所述标准化模块104可包括：索引建立单元1041：用于根据数据处理模型，为监管数据建立统一的数据索引。格式调整单元1042：用于根据数据处理模型的数据格式，对监管数据进行格式调整，建立统一格式的标准监管数据。本实施例中，所述数据分析模型可由监管部门根据需求本文档来自技高网...

【技术保护点】
一种用于水环境监管的大数据分析处理系统，其特征在于：包括：采集模块(101)：用于采集原始监管数据；缓存模块(102)：用于存储原始监管数据；预处理模块(103)：用于筛选原始监管数据，获得有效监管数据；标准化模块(104)：用于对有效监管数据进行标准化处理，获得标准监管数据；数据池(105)：用于存储标准监管数据；分析模块(106)：用于对标准监管数据进行分析和处理；分析报告生成模块(107)：用于根据分析和处理的结果，生成分析报告。

【技术特征摘要】
1.一种用于水环境监管的大数据分析处理系统，其特征在于：包括：采集模块(101)：用于采集原始监管数据；缓存模块(102)：用于存储原始监管数据；预处理模块(103)：用于筛选原始监管数据，获得有效监管数据；标准化模块(104)：用于对有效监管数据进行标准化处理，获得标准监管数据；数据池(105)：用于存储标准监管数据；分析模块(106)：用于对标准监管数据进行分析和处理；分析报告生成模块(107)：用于根据分析和处理的结果，生成分析报告。2.根据权利要求1所述的一种用于水环境监管的大数据分析处理系统，其特征在于：还包括：处理模型建立模块(108)：用于建立数据处理模型，以便所述标准化模块(104)根据所述数据处理模型，对有效监管数据进行标准化处理；分析模型建立模块(109)：用于建立数据分析模型，以便所述分析模块(106)根据所述数据分析模型，对标准监管数据进行分析和处理。3.根据权利要求2所述的一种用于水环境监管的大数据分析处理系统，其特征在于：所述标准化模块(104)包括：索引建立单元(1041)：用于根据数据处理模型，为监管数据建立统一的数据索引；格式调整单元(1042)：用于根据数据处理模型的数据格式，对监管数据进行格式调整，建立统一格式的标准监管数据。4.根据权利要求2所述的一种用于水环境监管的大数据分析处理系统，其特征在于：所述分析模型建立模块(109)包括：神经网络形成单元(1091)：用于根据大数据分析处理系统的网络节点，建立数据分析模型神经网络；训练单元(1092)：用于利用所述数据池(105)存储的标准监管数据，训练所述数据分析模型神经网络的模型参数；优化单元(1093)：用于利用所述数据池(105)存储的标准监管数据，优化被训练过的数据分析模型神经网络，得到数据分析模型。5.根据权利要求1所述的一种用于水环境监管的大数据分...

【专利技术属性】
技术研发人员：徐卫东，刘加杰，顾杨，申萍萍，
申请(专利权)人：江苏商达水务有限公司，
类型：发明
国别省市：江苏;32