一种环保数据管理方法技术

本发明专利技术提供了环保技术领域的一种环保数据管理方法，包括如下步骤：步骤S10、从各业务系统实时采集环保数据；步骤S20、对采集的所述环保数据进行预处理；步骤S30、将预处理后的所述环保数据存储至中心数据库；步骤S40、对中心数据库存储的所述环保数据进行管理。本发明专利技术的优点在于：实现对海量环保数据进行整合管理，极大的提升了环保数据的应用价值。

【技术实现步骤摘要】
一种环保数据管理方法
本专利技术涉及环保
，特别指一种环保数据管理方法。
技术介绍
随着生态环境、环保相关领域的物联网建设逐步完善，产生了海量的环保数据。然而海量的环保数据分散在不同地市、不同部门的不同系统中，各系统由于采用的数据格式各不相同，使得系统间的数据交互存在一定障碍，形成信息孤岛；且传统上，仅对本系统内的环保数据进行简单的统计分析，未对环保数据进行有效的管理和应用，未能充分发挥环保数据的价值。因此，如何提供一种环保数据管理方法，实现对海量环保数据进行整合管理，提升环保数据的应用价值，成为一个亟待解决的问题。
技术实现思路
本专利技术要解决的技术问题，在于提供一种环保数据管理方法，实现对海量环保数据进行整合管理，提升环保数据的应用价值。本专利技术是这样实现的：一种环保数据管理方法，包括如下步骤：步骤S10、从各业务系统实时采集环保数据；步骤S20、对采集的所述环保数据进行预处理；步骤S30、将预处理后的所述环保数据存储至中心数据库；步骤S40、对中心数据库存储的所述环保数据进行管理。进一步地，所述步骤S10具体为：利用ETL工具从各业务系统实时采集环保数据。进一步地，所述步骤S20具体包括：步骤S21、预设一数据转换规则以及一数据过滤规则；步骤S22、利用所述数据转换规则将从各业务系统采集的各环保数据转换为统一格式；步骤S23、利用所述数据过滤规则对各环保数据进行过滤；步骤S24、对所述环保数据进行MD5值校验，剔除校验失败的所述环保数据。进一步地，所述数据转换规则具体为将格式统一转换为XML格式；所述数据过滤规则具体为过滤内容为空以及含有预设关键字的环保数据。进一步地，所述步骤S30具体为：预设若干个数据种类，基于所述数据种类对预处理后的环保数据进行分类，并设定各所述环保数据的数据标签，再将分类并设定数据标签后的所述环保数据存储至中心数据库。进一步地，所述数据种类至少包括基础数据、业务数据、文档数据、空间数据、主题数据以及元数据；所述数据标签至少包括辐射基站、污染源、生态红线、地下水环境、排污权、多规合一、土壤环境、风险源、危废转移流向、噪声环境、排污许可、排污口空间。进一步地，所述步骤S40具体为：创建一设有账号和密码的权限表，基于所述权限表设置中心数据库的数据接口；通过所述账号和密码获取数据接口的访问权限，进而利用神经网络模型调用所述中心数据库的环保数据进行大数据分析生成分析结果，并将所述分析结果通过报表、知识图谱或者电子地图展示于可视化界面上。进一步地，所述步骤S40还包括：各业务系统通过所述权限表访问中心数据库，进行所述环保数据的共享和交互。本专利技术的优点在于：1、通过从各业务系统采集环保数据并进行格式转换、过滤以及校验的预处理，将预处理后的环保数据进行分类并设定数据标签后存储至中心数据库，再基于创建的权限表设置中心数据库的数据接口，便于通过数据接口调用格式统一的海量的环保数据进行大数据分析，相对于传统上各业务系统的环保数据相互孤立，实现对海量环保数据进行整合管理，极大的提升了环保数据的应用价值。2、通过对环保数据进行格式转换、过滤以及校验的预处理，剔除了一些不需要、有缺陷、不完整的环保数据，且转换为统一的数据格式，极大的提升了环保数据的数据质量，为后续的大数据分析提供坚实的基础。3、通过对环保数据进行分类并设定数据标签，便于后期对环保数据的检索以及分类分析、多维度分析，进一步提升环保数据的应用价值。4、通过设有账号和密码的权限表设置中心数据库的数据接口，即用于账号和密码的用户才能通过数据接口访问中心数据库，极大的提升了环保数据的安全性。附图说明下面参照附图结合实施例对本专利技术作进一步的说明。图1是本专利技术一种环保数据管理方法的流程图。具体实施方式本申请实施例中的技术方案，总体思路如下：实时采集各业务系统的环保数据并进行格式转换、过滤、校验、分类、设定数据标签等操作后存储至中心数据库，对环保数据进行统一的维护和管理，并对外提供数据接口用于获取环保数据进行大数据分析，即为人工智能、机器学习、模式识别、可视化技术等提供数据支撑，进而提升环保数据的应用价值。请参照图1所示，本专利技术一种环保数据管理方法的较佳实施例，包括如下步骤：步骤S10、从各业务系统实时采集环保数据；所述环保数据可为各种传感器、数采仪、监测站等采集的数据；步骤S20、对采集的所述环保数据进行预处理；步骤S30、将预处理后的所述环保数据存储至中心数据库；通过将各业务系统的所述环保数据存储至中心数据库，便于所述环保数据的维护、共享、应用，并降低所述环保数据的管理成本；步骤S40、对中心数据库存储的所述环保数据进行管理。所述步骤S10具体为：利用ETL(数据仓库技术)工具从各业务系统实时采集环保数据；实时采集所述环保数据，使得中心数据库始终保持最新的数据状态。所述步骤S20具体包括：步骤S21、预设一数据转换规则以及一数据过滤规则；步骤S22、利用所述数据转换规则将从各业务系统采集的各环保数据转换为统一格式；转换为统一格式便于后期的数据分析处理；步骤S23、利用所述数据过滤规则对各环保数据进行过滤；步骤S24、对所述环保数据进行MD5值校验，剔除校验失败的所述环保数据。MD5值校验即计算所述环保数据的MD5值，并比对计算的MD5值与所述环保数据自身携带的MD5值是否一致，一致，则校验通过；不一致，则校验不通过；MD5值校验能判断所述环保数据的完整性，避免所述环保数据被纂改或丢失。所述数据转换规则具体为将格式统一转换为XML格式；所述数据过滤规则具体为过滤内容为空以及含有预设关键字的环保数据。XML是一种用于标记电子文件使其具有结构性的标记语言。所述步骤S30具体为：预设若干个数据种类，基于所述数据种类对预处理后的环保数据进行分类，并设定各所述环保数据的数据标签，再将分类并设定数据标签后的所述环保数据存储至中心数据库。所述数据种类至少包括基础数据、业务数据、文档数据、空间数据、主题数据以及元数据；所述数据标签至少包括辐射基站、污染源、生态红线、地下水环境、排污权、多规合一、土壤环境、风险源、危废转移流向、噪声环境、排污许可、排污口空间。所述步骤S40具体为：创建一设有账号和密码的权限表，基于所述权限表设置中心数据库的数据接口；通过所述账号和密码获取数据接口的访问权限，进而利用神经网络模型调用所述中心数据库的环保数据进行大数据分析生成分析结果，并将所述分析结果通过报表、知识图谱或者电子地图展示于可视化界面上。具体实施时，可创建一对公钥和私钥，利用所述私钥对环保数据进行加密，当用户通过所述账号和密码获取数据接口的访问权限时，得到中心数据库发送的公钥，本文档来自技高网...

【技术保护点】
1.一种环保数据管理方法，其特征在于：包括如下步骤：/n步骤S10、从各业务系统实时采集环保数据；/n步骤S20、对采集的所述环保数据进行预处理；/n步骤S30、将预处理后的所述环保数据存储至中心数据库；/n步骤S40、对中心数据库存储的所述环保数据进行管理。/n

【技术特征摘要】
1.一种环保数据管理方法，其特征在于：包括如下步骤：
步骤S10、从各业务系统实时采集环保数据；
步骤S20、对采集的所述环保数据进行预处理；
步骤S30、将预处理后的所述环保数据存储至中心数据库；
步骤S40、对中心数据库存储的所述环保数据进行管理。


2.如权利要求1所述的一种环保数据管理方法，其特征在于：所述步骤S10具体为：
利用ETL工具从各业务系统实时采集环保数据。


3.如权利要求1所述的一种环保数据管理方法，其特征在于：所述步骤S20具体包括：
步骤S21、预设一数据转换规则以及一数据过滤规则；
步骤S22、利用所述数据转换规则将从各业务系统采集的各环保数据转换为统一格式；
步骤S23、利用所述数据过滤规则对各环保数据进行过滤；
步骤S24、对所述环保数据进行MD5值校验，剔除校验失败的所述环保数据。


4.如权利要求3所述的一种环保数据管理方法，其特征在于：所述数据转换规则具体为将格式统一转换为XML格式；所述数据过滤规则具体为过滤内容为空以及含有预设关键字的环保数据。


5.如权利要求1所述的一种环...

【专利技术属性】
技术研发人员：潘登，邹建红，陈雯珊，林欣郁，
申请(专利权)人：福建省星云大数据应用服务有限公司，
类型：发明
国别省市：福建;35