基于实时数据库的气象要素数据组织录入与查询方法技术

本发明专利技术涉及气象数据处理技术领域，公开了一种基于实时数据库的气象要素数据组织录入和查询的方法，构建以实时数据库为核心的气象要素数据模型，所述模型以自动站站号和要素名称为基本数据单元，基本数据单元的数据以时间戳顺序存储；实现气象要素实时数据的快速录入以及历史数据的高速查询。本发明专利技术的方法解决了气象应用领域中气象要素实时数据录入和历史数据查询的性能问题，实现气象要素实时数据的快速录入，保证用户能够在较短的时间内获得其所需要的历史数据信息，提高气象综合信息处理系统的响应速度。

【技术实现步骤摘要】

本专利技术涉及气象综合信息服务
，尤其涉及一种气象要素数据组织与查询 优化方法，可以应用于气象、工业、农业、水文水利、环保、高速公路、机场和港口等的气象综 合信息服务

技术介绍
气候是自然环境的组成部分，也是人类活动最重要的环境条件。当前，气候变化和 极端天气与气候事件正威胁着世界各国的社会经济发展和人民生命财产的安全，严重影响 着全球可持续发展战略目标的实现。维护气候系统的均衡，统筹人与自然的关系，已成为当 今世界高度关注的重大议题之一。而描述大气及其相关圈层状态和特征的气象科学数据， 不仅是气候系统相关学科的研究基础，也是国家经济建设、社会发展、国防建设、环境保护、 生态建设和人民生活不可或缺的重要信息。科学数据是人类社会科技活动所产生的基本数据、资料，以及按照不同需求而系 统加工的数据产品和相关信息，具有明显的潜在开发价值，并在广泛应用过程中得以增值， 是信息时代最基本、最活跃、影响面最宽的科技信息资源。开展科学数据共享不仅是当代科 技创新与发展的迫切需求，也是经济与社会协调可持续发展的一项重要的基础性支撑。气 象科学数据以其广泛的应用需求和较好的业务基础，被列为国家科学数据共享工程的首批T^i ； o自动站的建设是气象科学数据获取的基础，是实现大气监测自动化的第一步，资 料的应用是其根本所在。为了使自动站监测数据在科研工作、预报业务、服务及气象灾害监 测中得到更加及时和方便的应用，需要加速自动站资料应用的业务化进程，获取及时、准确 的气象资料，更好地服务于社会。同时，也可以为预报员及时监测灾害性天气的发生和开展 准确及时的预报、情报服务提供重要的实时信息，最大限度的发挥了自动站建设的投资效frff. o目前，绝大部分气象综合信息服务系统都采用Oracle、SQL Server等大型关系 数据库系统来存储气象科学数据，其中包括频繁更新的自动站气象要素。随着自动站建设 的深入，自动站的分布越来越密集，而且气象要素更新周期也由十五分钟提高到五分钟，因 此，随着时间的推移，气象要素的历史数据量也迅速膨胀。采用Oracle、SQL Server等传统 商业关系数据库系统来存储自动站气象要素时，传统商业关系数据库系统对气象要素的实 时数据和历史数据的处理速度较慢，尤其是随着时间推移，历史数据量越来越大时，其处理 速度会越来越慢以至于无法满足客户的最低要求。虽然，Oracle是目前性能最好的商业 数据库，尤其是在处理海量数据时其性能比较好。但是，Oracle的性能也会随着数据量的 增加而降低。当气象数据累积一到两年之后，其数据量会变得很大，以至于Oracle的数据 录入速度及查询响应速度无法满足客户的最低要求，成为目前急需解决的重要问题。实时数据库系统对于处理那些频繁更新的实时数据具有较大的优势，其性能远远 优于普通关系数据库系统。本专利技术将基于实时数据库系统，提出一种气象要素实时数据存3储管理的数据模型；并在该数据模型的基础上，提出了高效的气象要素数据组织和查询优 化方法，从而提高海量气象数据的处理性能。
技术实现思路
为了克服现有技术中的缺点，本专利技术的目的之一是采用实时数据库系统替代传统 商业关系数据库系统来存储自动站气象要素数据；另一目的是根据气象数据的特点和查询 要求对实时数据库系统进行了优化，以保证优化后的查询速度在面对海量气象要素历史数 据时，依然能够很好地满足客户的查询要求。为了实现本专利技术的第一目的，采用的技术方案如下一种基于实时数据库的气象要素数据组织录入方法，其步骤包括1)在实时数据库中建立气象要素实时数据存储模型，所述模型以自动站站号和要 素名称为基本数据单元，基本数据单元的数据以时间戳顺序存储；2)从自动站采集的各气象要素数据根据其站号及要素名称检索其对应的基本数 据单元，将各个自动站的每个气象要素与实时数据库系统中的一个基本数据单元对应；3)采用数据组包发送机制和主内存方式将采集的数据录入实时数据库。所述基本数据单元命名规则为站号_要素名称。所述数据组包发送机制为将采集的数据进行组包，形成大数据包再发送。进一步，将采集的站号及要素名称转换为基本数据单元ID，形成数据更新元组进 行组包。主内存方式为实时数据库系统中所有数据单元的数据信息都存储于内存中。为了实现本专利技术的另一目的采用的技术方案如下一种基于实时数据库的气象要素数据查询方法，对以权利要求1方法录入实时数 据库的气象数据进行查询，其步骤包括1)客户端提出查询请求，实时数据库完成对查询请求的解析，解析出查询要素信 息、时间范围；2)对于条件查询，完成对条件表达式的解析；3)查询出气象要素名称及相应时间范围内的历史数据；4)对气象要素历史数据排序生成一条记录放入记录集；5)将记录集句柄和记录数返回客户端。所述步骤4)只对每个站点的第一个要素数据按照站号和时间进行排序，根据站 号和第一个要素数据的时间戳来匹配同一条记录的其他要素的数据，并组合成一条记录。采用归并排序算法进行排序。所述步骤5)采用数据批量发送机制将记录集发送到客户端，具体为9-1)从批量数据获取请求中解析出记录集信息、记录开始位置和所需获取的最大 记录数。9-2)将记录集当前位置移动到请求中指定的开始位置；9-3)从记录集中依次记录添加到批量记录集中，直至满足终止条件；9-4)将批量记录集和已发送记录数返回到客户端。所述终止条件，即本次批量记录集记录数大于等于请求的最大记录数，或记录集读取完最后一条记录；与现有技术相比，本专利技术具有以下有益效果1、本专利技术提出的基于实时数据库的气象要素数据组织与查询优化方法，针对气象 应用中自动站气象要素数据特征，采用实时数据库系统对数据进行存储管理，减少了数据 写入的一致性检查。另外，实时数据库系统数据录入过程中用点ID取代了站点名和要素名 进行数据写入，数据通讯量减少、更新过程中也无需维护索引。因此，此方法能够实现比传 统商业关系数据库系统快很多的实时数据录入性能。2、本专利技术提出的基于实时数据库的气象要素数据组织与查询优化方法，基于实时 数据库系统的数据管理模型，实现对气象要素以不同点的形式进行存储，每个点又以时间 戳的先后顺序进行索引管理，非常适合气象应用中以时间区间为条件查询多个要素的历史 数据查询特点，通过对多个气象要素历史数据查询的磁盘访问优化，减少了磁盘访问次数， 减少了磁头移动距离，大大提高了数据检索和磁盘数据装载到内存中的速度，从而实现更 高的气象要素历史查询性能。3、本专利技术提出的基于实时数据库的气象要素数据组织与查询优化方法，结合实时 数据库系统中历史数据基本以时间戳有序存储，对查询结果进行排序过程中采用了特殊而 有效的排序方法，减少排序过程中不必要的数据交换，从而实现 按时间戳和站点名排序的 高速排序。排序速度的提升，极大地提高了气象要素历史查询性能。附图说明图1为基于关系数据库的气象要素数据模型；图2为基于实时数据库的气象要素数据模型；图3为基于实时数据库的气象要素实时管理系统；图4为基于主内存的实时数据录入优化方法；图5为后台程序处理气象要素数据历史查询流程图；图6为后台程序批次组织查询数据处理流程图；图7A为为排序算法的逻辑方案；图7B1表示双向链表结构；图7B2表示逆向检索；图8为实时数据本文档来自技高网...

【技术保护点】
一种基于实时数据库的气象要素数据组织录入方法，其步骤包括：１）在实时数据库中建立气象要素实时数据存储模型，所述模型以自动站站号和要素名称为基本数据单元，基本数据单元的数据以时间戳顺序存储；２）从自动站采集的各气象要素数据根据其站号及要素名称检索其对应的基本数据单元，将各个自动站的每个气象要素与实时数据库系统中的一个基本数据单元对应；３）采用数据组包发送机制和主内存方式将采集的数据录入实时数据库。

【技术特征摘要】
一种基于实时数据库的气象要素数据组织录入方法，其步骤包括1)在实时数据库中建立气象要素实时数据存储模型，所述模型以自动站站号和要素名称为基本数据单元，基本数据单元的数据以时间戳顺序存储；2)从自动站采集的各气象要素数据根据其站号及要素名称检索其对应的基本数据单元，将各个自动站的每个气象要素与实时数据库系统中的一个基本数据单元对应；3)采用数据组包发送机制和主内存方式将采集的数据录入实时数据库。2.根据权利要求1所述的基于实时数据库的气象要素数据组织录入方法，其特征在 于，所述基本数据单元命名规则为站号_要素名称。3.根据权利要求1所述的基于实时数据库的气象要素数据组织录入方法，其特征在 于，所述数据组包发送机制为将采集的数据进行组包，形成大数据包再发送。4.根据权利要求3所述的基于实时数据库的气象要素数据组织录入方法，其特征在 于，将采集的站号及要素名称转换为基本数据单元ID，形成数据更新元组进行组包。5.根据权利要求1所述的基于实时数据库的气象要素数据组织录入方法，其特征在 于，主内存方式为实时数据库系统中所有数据单元的数据信息都存储于内存中。6.一种基于实时数据库的气象要素数据查询方法，对以权利要求1方法录入实时数据 库的气象数据进行查询，其步骤包括1)客户端提出查询请求，实时数据...

【专利技术属性】
技术研发人员：王永炎，李坤，王宏安，刘胜航，郭超，董彦芝，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：11[中国|北京]