基于多种质控方法的高空气象资料入库方法和入库系统技术方案

本发明专利技术公开了基于多种质控方法的高空气象资料入库方法，依次经过数据采集、数据预处理、传统质控、基于数据挖掘算法的质控、基于GIS空间插值质控和基于混沌理论的质控方、数据分类以及入库。本发明专利技术还公开了基于多种质控方法的高空气象资料入库系统，它为四层架构模式，从底层到顶层依次为设备层、通信解析层、汇聚处理层和表示层。本发明专利技术综合使用多种数据质量控制方法，并将新的入库技术使用到系统中，这不仅可以提高高空数据的质量，增强质控后的高空数据对天气预报和气候预测的指导作用，提高数据的代表性、权威性，而且新入库技术的使用也将提高海量高空数据入库的效率。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了基于多种质控方法的高空气象资料入库方法，依次经过数据采集、数据预处理、传统质控、基于数据挖掘算法的质控、基于GIS空间插值质控和基于混沌理论的质控方、数据分类以及入库。本专利技术还公开了基于多种质控方法的高空气象资料入库系统，它为四层架构模式，从底层到顶层依次为设备层、通信解析层、汇聚处理层和表示层。本专利技术综合使用多种数据质量控制方法，并将新的入库技术使用到系统中，这不仅可以提高高空数据的质量，增强质控后的高空数据对天气预报和气候预测的指导作用，提高数据的代表性、权威性，而且新入库技术的使用也将提高海量高空数据入库的效率。【专利说明】基于多种质控方法的高空气象资料入库方法和入库系统
本专利技术属于气象数据观测领域，特别涉及了基于多种质控方法的高空气象资料入库方法和入库系统。
技术介绍
高空气象数据是制作天气预报和气候预测的基础资料，其质量好坏直接影响着天气预报和气候预测的正确与否。台站气象观测手段的自动化和数据传输速度持续的提高，观测频率的提高，海量数据被采集和传输、保存。因此，快速和高效地证实和标注错误的或者可疑的观测记录的质量控制方法是很必要的，这样才能快速的为用户提供尽可能可靠的观测信息，才能使预报员做出尽可能准确的业务决定。高空数据资料的准确与否直接影响气象事业的发展，而高空气象数据又最容易受到设备状态的和人为观测误差因素的影响，所以高空气象资料的质量控制显得尤为重要。随着科学事业的不断深入发展，科技工作者迫切需要更高质量的气象资料。高空气象观测记录必须具有代表性、准确性、比较性。然而气象资料受到测站位置、测量仪器、观测技术、观测时间、观测方法等影响，尤其是高空气象资料，各种非气象因素造成的影响更大，使得气象资料大打折扣，气象资料的质量控制的重要性已经成为所有气象资料科技工作者所公认。高空气象数据资料的控制和评估业务对保证气象数据的完整性、可靠性、代表性具有十分重要的意义。以数据质量控制和入库系统为基础平台，用计算机技术实现各类气象数据的质量控制、评估和数列均一性检验，以人机交互的方式实现气象资料的订正，为国家、省市级气象数据存储检索提供准确、标准化、权威的气象数据资料。
技术实现思路
为了解决上述
技术介绍
存在的问题，本专利技术旨在提供基于多种质控方法的高空气象资料入库方法和入库系统，通过对高空数据的位势高度、温度、温度露点差、风等要素综合使用多种数据质量控制方法进行分析，并将新的入库技术使用到系统中，这不仅可以提高高空数据的质量，增强质控后的高空数据对天气预报和气候预测的指导作用，提高数据的代表性、权威性，而且新入库技术的使用也将提高海量高空数据入库的效率。为了实现上述技术目的，本专利技术的技术方案为:基于多种质控方法的高空气象资料入库方法，包含以下步骤:第一步:数据采集:通过各自动气象站的传感器对数据进行采集；第二步:数据预处理:对采集到的数据进行粗差判别；第三步:使用传统质量控制方法处理数据:依次包括气候学界限值检查、逻辑检查、内部一致性检查、时间一致性检查、空间一致性检查；第四步:使用基于BP神经网络的数据挖掘算法作为质控算法处理数据，它包括以下步骤:步骤1:初始化一组权值和阈值；步骤2:将一个气象自动站上传的各类型气象数据作为输入数据，沿网络正向传播，计算当前输入模式实际输出与预期输出的误差S ;步骤3:如果δ小于给定值ξ，转至步骤5，否则转至步骤4 ;步骤4:更新各节点阈值和权值，之后转至步骤2 ；步骤5:输出结果，算法结束；第五步:依次使用基于GIS空间插值质控方法和基于混沌理论的质控方法处理数据；第六步:数据分类:将数据按照可疑程度进行分类；第七步:数据入库:将数据导入数据库。其中，上述第二步中的粗差判别采用界限值判定法或者肖维勒判别法或者t检验判别法。其中，上述第七步中的数据库采用Oracle数据库或者Access或者PostgreSQL。本专利技术包括用于实施上述基于多种质控方法的高空气象资料入库方法的入库系统，该系统为四层架构模式，包含从底层到顶层依次连接的设备层、通信解析层、汇聚处理层和表示层；所述设备层实现各自动气象站的无缝接入，所述通信解析层实现自动气象站与中心服务站的之间的数据通信和解析，并在该层进行数据预处理，所述汇聚处理层实现对通信解析层传入的数据进行收集、质量控制、数据分类以及入库，所述表示层实现对数据处理状态的监视记录、数据统计、参数管理、数据库备份和文件处理。其中，上述设备层与通信解析层之间通过GPRS或者3G/4G网络进行远程通信。采用上述技术方案带来的有益效果是:( I)本专利技术将多种质量控制方法用于系统中，在高空气象数据入库前进行质量控制，将会大大提高入库数据的准确性和代表性。(2)本专利技术将质控后的数据进行分类，分别为A，B，C，D类，每一类代表不同的数据可疑性，然后根据数据的类别对数据进行综合处理，思路清晰，处理简单易懂。(3)本专利技术突破普通三层架构模式，将系统划分成为四个层次，每一层都具有各自的特有工作和属性，系统的框架分层效果明显。【专利附图】【附图说明】图1是本专利技术的基于多种质控方法的高空气象资料入库方法流程图；图2是本专利技术的用于图1所示入库方法的入库系统结构框图；图3是本专利技术的一种基于图2的具体入库系统流程图。【具体实施方式】以下将结合附图，对本专利技术的技术方案进行详细说明。如图1所示本专利技术的基于多种质控方法的高空气象资料入库方法流程图，包括以下步骤:第一步:数据采集:通过各气象自动站的传感器对高空数据进行采集；第二步:数据预处理:实现对气象自动站通过GPRS通信网络或其它方式传递到气象局中心服务器的数据进行粗差判别，若数据的反常误差或过失误差超过阈值，则认为数据错误，否则进行下一步操作，这是质量控制的前期准备工作； 第三步:使用传统质量控制方法处理数据，步骤如下:1、对数据进行气候学界限值检查:这是指从气候学角度不可能发生的要素值，若数据在气候学界限值内，则进行下一步操作，否则认为数据错误；2、对数据进行逻辑检查:根据气象要素在观测规律以及气象要素之间的内部关系对观测记录进行逻辑检查，其逻辑检查的内容包括位势高度、温度、温度露点差、风等。若数据符合逻辑检查要求，则进行下一步检查，否则认为数据可疑；3、对数据进行内部一致性检查:同一时间观测的气象要素记录之间的关系必须符合一定规律，若数据符合内部一致性检查，则进行下一步操作，否则认为数据可疑；4、对数据进行时间一致性检查:对气象记录变化是否在一定的时间范围内变化具有特定的规律，若数据符合时间一致性检查，则进行下一步操作，否则认为数据可疑；5、对数据进行空间一致性检查:气象要素在空间上的相关性检查，主要方法有空间插值、空间回归检查、气候统计比较法等，若数据符合空间一致性检查，则进行下一步操作，否则认为数据可疑；第四步:利用数据挖掘算法作为质控方法处理数据，若数据符合其要求则进行下一步操作，否则认为数据可疑。本算法主要使用了 BP神经网络，步骤如下:1、初始化一组权值和阈值；2、输入数据沿网络正向传播，计算当前输入模式实际输出与预期输出的误差δ ；3、如果δ小于给定值ξ，转至步骤5，否则转至步骤4 ；4、更新各节点阈值和权值，之后转至步骤2 ；5、输出结果，算法结束，本文档来自技高网...

【技术保护点】
基于多种质控方法的高空气象资料入库方法，其特征在于：包含以下步骤：第一步：数据采集：通过各自动气象站的传感器对数据进行采集；第二步：数据预处理：对采集到的数据进行粗差判别；第三步：使用传统质量控制方法处理数据：依次包括气候学界限值检查、逻辑检查、内部一致性检查、时间一致性检查、空间一致性检查；第四步：使用基于BP神经网络的数据挖掘算法作为质控算法处理数据，它包括以下步骤：步骤1：初始化一组权值和阈值；步骤2：将一个气象自动站上传的各类气象数据作为输入数据，沿网络正向传播，计算当前输入模式实际输出与预期输出的误差；步骤3：如果步骤2计算的误差小于给定值，转至步骤5，否则转至步骤4；步骤4: 更新各节点阈值和权值，之后转至步骤2；步骤5：输出结果，算法结束；第五步：依次使用基于GIS空间插值质控方法和基于混沌理论的质控方法处理数据；第六步：数据分类：将数据通过综合判别方法进行分类；第七步：数据入库：将数据导入数据库。

【技术特征摘要】

【专利技术属性】
技术研发人员：李涛，邱忠洋，李娟，周欢乐，范文波，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32