一种基于数据融合的大气生态环境分析方法技术

本发明专利技术提供了一种基于数据融合的大气生态环境分析方法，包括对大气环境的大气环境数据的采集、治理的方法和任务监控模式；信息资源目录的分类编制管理，公共属性、元数据、标准表的管理；数据资源的管理模式，质量监控规则设计方法；大气环境数据健康度的诊断，数据集市的设计，数据分析研判方案。本发明专利技术融合业务系统数据库、数据中心、网络、应用系统、终端、传感器的数据源数据，通过数据治理，数据目录、数据资源的管理，生成大气环境数据的展示云图和未来发展趋势的分析研判报告，帮助生态环境部门及时有效掌握城市大气生态现状。门及时有效掌握城市大气生态现状。门及时有效掌握城市大气生态现状。

【技术实现步骤摘要】
一种基于数据融合的大气生态环境分析方法


[0001]本专利技术属于大气生态环境保护
，特别涉及一种基于数据融合的大气生态环境分析方法。

技术介绍

[0002]随着社会经济的快速发展，人口急剧增加，能源消耗飞速增长，大气环境形势日趋严峻，当大气环境中的污染物呈现足够浓度、达到足够时间，就会对人体健康、工农业生产、大气和气候带来严重危害。
[0003]为了使有关生态环境部门对将来可能的环境质量发展趋势做出准确的判断和预测，采用有效的大气生态环境监测及分析方法势在必行，不但可以大气环境数据监测节点的重复建设，使环境信息资源能够被有效利用，还可以为城域物联感知平台提供环境信息资源的信息共享，以利于政府各部门对环境状况及时做出合理的决策。

技术实现思路

[0004]专利技术目的：为了解决数据标准不统一、数据源分散、数据融合性低的问题，提供一种基于数据融合的大气生态环境分析方法。
[0005]技术方案：一种基于数据融合的大气生态环境分析方法，包括以下步骤：
[0006]包括以下步骤：
[0007]步骤1，进行大气环境数据的采集、治理和任务的监控；
[0008]步骤2，进行数据资源目录分类，以及公共属性、元数据、标准表管理；
[0009]步骤3，进行数据资源管理与质量监控；
[0010]步骤4，进行大气环境数据的分析研判。
[0011]步骤1包括：
[0012]步骤1
‑
1，配置大气生态各各业务系统表的源数据，制定如下规则抽取大气环境质量业务数据：通过数据交换区和批量导入的方式，上传时效性要求较低的数据；通过数据实时接入接口，实时同步时效性要求较高的数据；通过关系型数据采集集群采集数据源中的结构化数据，通过业务系统ETL(数据仓库技术，Extract
‑
Transform
‑
Load) 技术采集数据源中的非结构化数据；
[0013]步骤1
‑
2，将需要校验的源数据字段注册到唯一性校验规则表中，使用shell脚本 md5校验方法对抽取的源数据接口文件、相关记录进行唯一性检查；对字段类型、字段长度、数字精度、取值范围、可否为空、忽略字符、正则表达式一致性等内容开展记录级校验；
[0014]步骤1
‑
3，定义异构数据源的处理流程，设置统一类型格式、完整性规则、准确性规则，将源数据转换为目标数据，并录入大气环境信息资源库，包括：将来源于不同业务系统的相同类型的数据进行统一处理，如时间、数值、字符、计量单位等内容，确保类型格式统一；按照数据仓库粒度对数据进行统一归整、对空值进行替换配置，确保数据完整性；将源数据转换为目标数据，并录入大气环境信息资源库，确保数据准确性；
[0015]步骤1
‑
4，展示当前自定义数据处理流程的实时监控情况，包括完成、运行中、运行失败状态，当状态异常时自动报警。
[0016]步骤2包括：
[0017]步骤2
‑
1，进行分类编目和分级管理；
[0018]步骤2
‑
2，进行环境信息公共属性管理；
[0019]步骤2
‑
3，进行元数据管理；
[0020]步骤2
‑
4，进行标准表管理。
[0021]步骤2
‑
1包括：按照环境信息资源分类编码规则对大气环境信息资源库中的数据资源和服务资源进行提取，建设项目信息资源采集目录，根据目录名称、资源分类名称、资源分类上下级信息开展资源分类管理，将非规范化数据转为规范化数据或半规范化数据(参考文献：GB/T 21063.4
‑
2007《政务信息资源目录体系第4部分：政务信息资源分类》)。分类编目依托目录分类、共享属性分类、层级属性分类、涉密属性分类；分级管理具体包括资源编目、资源注册、资源发布、资源访问和资源目录管理。
[0022]步骤2
‑
2包括：大气环境信息公共实体指跨部门共用的信息实体，大气环境信息公共属性是指公共实体间的关键检索属性，通过关联关键检索信息，实现公共实体间的关联、支持不同实体间的汇总、统计、分析，关键检索信息包括自动站信息、污染源信息。设置大气环境信息公共属性的管理流程，即属性查询、属性注册、属性更新、属性发布、属性维护，展现大气环境公共实体数据表(包括但不限于自动站信息、污染源信息、断面信息等)之间的血缘关系。
[0023]步骤2
‑
3包括：通过对大气环境信息资源库结构的管理维护，实现大气环境信息资源元数据和数据字典的提取和定义，并以目录的形式进行组织和管理，并构建元数据中心，在此基础上形成可视化的大气环境数据地图、血缘分析；通过元数据新增、元数据保存提交、元数据修改、元数据审核、元数据注册至资源目录、注册审核、资源目录元数据视图等七项功能，实现分类、资源名称、信息资源代码、信息资源提供方、信息资源摘要、信息资源格式、信息项信息、共享属性、开放属性、更新周期、发布日期等十一项元数据模型的管理。
[0024]将元数据中心存储的信息资源发布到专项应用库中，同时从专项应用库中采集元数据内容进行稽核，提供元数据服务，元数据服务包括数据质量、维护管理。
[0025]步骤2
‑
4包括：梳理和整合业务系统中的数据资源，在标准表中形成空气质量预报、环境信用评价、空气自动监测、大气污染防治等大气质量分类类别，抽取各业务系统数据库中的报表，将报表中的字段与梳理出的标准表类别进行对比，并最终形成标准表数据。
[0026]步骤3包括：
[0027]步骤3
‑
1，利用大气环境数据资源库统一的数据标准及数据管理、交互机制，对数据资源进行管理，包括注册数据源、表管理、字段管理、E
‑
R(实体
‑
联系，EntityRelationship)关系管理、管理数据源；本专利技术支持MYSQL、SQLSERVER、ORACLE (mangodb、Nosql)三种类型数据源，对数据表的完整性、及时性、有效性，字段的值域范围等信息进行管理。
[0028]步骤3
‑
2，设计包括数据到达时间及时性、字段阈值有效性、关键属性空值的数据质量监控规则；通过设计的数据质量监控规则捕捉大气环境质量的现状指标及发展趋势。本专利技术中设置的数据质量规则主要包含监控规则、告警规则，围绕数据的及时性、完整性、
有效性进行展开，提供数据质量综合指数排名分析。
[0029]步骤4包括：
[0030]步骤4
‑
1，进行数据健康度诊断，诊断内容包括数据波动异常和数据缺失，数据波动异常的捕捉内容为在一个时间段通过折线图反映出异常的一次性波动、周期性波动和持续性波动情况，或者本该有波动的数据无波动；通过折线图发现一个时间段数据丢失或者通过柱状图诊断显示数据为0反应出来的数据缺失情况，即数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据融合的大气生态环境分析方法，其特征在于，包括以下步骤：步骤1，进行大气环境数据的采集、治理和任务的监控；步骤2，进行数据资源目录分类，以及公共属性、元数据、标准表管理；步骤3，进行数据资源管理与质量监控；步骤4，进行大气环境数据的分析研判。2.根据权利要求1所述的方法，其特征在于，步骤1包括：步骤1
‑
1，配置大气生态各各业务系统表的源数据，通过数据交换区和Excel批量数据导入抽取低时效源数据，通过数据实时接口接入抽取高时效数据；步骤1
‑
2，使用shell脚本md5校验方法对抽取的源数据接口文件、相关记录进行检查，将需要唯一性校验的源数据字段注册到唯一性校验规则表中；步骤1
‑
3，定义异构数据源的处理流程，设置统一类型格式、完整性规则、准确性规则，将源数据转换为目标数据，并录入大气环境信息资源库；步骤1
‑
4，展示当前自定义数据处理流程的实时监控情况，包括完成、运行中、运行失败状态，当状态异常时自动报警。3.根据权利要求2所述的方法，其特征在于，步骤2包括：步骤2
‑
1，进行分类编目和分级管理；步骤2
‑
2，进行环境信息公共属性管理；步骤2
‑
3，进行元数据管理；步骤2
‑
4，进行标准表管理。4.根据权利要求3所述的方法，其特征在于，步骤2
‑
1包括：按照环境信息资源分类编码规则对大气环境信息资源库中的数据资源和服务资源进行提取，建设项目信息资源采集目录，根据目录名称、资源分类名称、资源分类上下级信息开展资源分类管理，将非规范化数据转为规范化数据或半规范化数据。5.根据权利要求4所述的方法，其特征在于，步骤2
‑
2包括：大气环境信息公共实体指跨部门共用的信息实体，大气环境信息公共属性是指公共实体间的关键检索属性，通过关联关键检索信息，实现公共实体间的关联、支持不同实体间的汇总、统计、分析，关键检索信息包括自动站信息、污染源信息。6.根据权利要求5所述的方法，其特征在于，步骤2
‑
3包括：通过对大气环境信息资源库结构的管理维护，实现大气环境信息资源元数据和数据字典的提取和定义，并以目录的形式进行组织和管理，并构建元数据中心，在此基础上形成可视化的大气环境数据地图、血缘分析；将元数据中心存储的信息资源发布到专项应用库中，同时从专项应用库...

【专利技术属性】
技术研发人员：李经纬，王丹丹，李毅，徐斌，任俊武，
申请(专利权)人：南京莱斯网信技术研究院有限公司，
类型：发明
国别省市：