一种面向海量气象要素数据存储与查询的方法及系统技术方案

本发明专利技术涉及一种面向海量气象要素数据存储与查询的方法及系统，其包括：逐时获取各个地区气象自动站所采集到的海量气象要素数据，对其数据维度统计划分；提取所述数据维度统计划分后的海量气象要素数据，构建包括主键

【技术实现步骤摘要】
一种面向海量气象要素数据存储与查询的方法及系统


[0001]本专利技术涉及一种气象数据处理
，特别是关于一种面向海量气象要素数据存储与查询的方法及系统。

技术介绍

[0002]气候是自然环境的重要组成部分，也是人类活动最重要的环境条件；气象数据资料作为分析气象条件的重要依据，其应用和研究价值非常高；通过对海量气象要素数据进行数据挖掘和分析，能够帮助开展与人民生产活动和日常生活密切相关的气象预报和灾害预警，能够实现气象灾害的风险评估等升值服务功能，能够为人们的衣食住行以及其他行业提供便捷等。
[0003]随着气象信息化进展愈来愈快，通过现有气象观测站点所搜集的海量气象要素数据，正在呈现指数级增长(百万甚至千万级数量)，这对海量气象要素数据的存储和查询统计提出了严峻考验。目前，现有的气象数据存储方式主要依赖于集中型关系数据库进行存储，其虽然安全性较高，但数据存储成本较高，且难以满足对海量气象要素数据进行大规模处理的要求，进而无法实现对气象、工业、农业、水文水利、环保、高速公路、机场和港口等领域提供气象综合信息服务；因而，如何对海量气象要素数据进行高效存储和快速全面查询，以实现海量历史气象数据真正的价值已成为当下研究重点。

技术实现思路

[0004]针对上述问题，本专利技术的目的是提供一种面向海量气象要素数据存储与查询的方法及系统，其能对海量气象要素数据进行高效存储和快速全面查询，实现海量历史气象数据真正的价值。
[0005]为实现上述目的，本专利技术采取以下技术方案：一种面向海量气象要素数据存储与查询的方法，其包括：逐时获取各个地区气象自动站所采集到的海量气象要素数据，对其数据维度统计划分；提取所述数据维度统计划分后的海量气象要素数据，构建包括主键
‑
子健
‑
键值的气象键值数据库，同时将各个地区气象自动站作为一级索引；其中，所述一级索引与所述气象键值数据库中的主键一一对应；对所述气象键值数据库进行分布式集群存储；对待查询地区的气象自动站名称进行集群存储定位，进行海量气象要素数据查询。
[0006]进一步，所述数据维度统计划分，包括：
[0007]最低气温，包括最高、最低和平均气温；
[0008]最高气温，包括最高、最低和平均气温；
[0009]温差，包括最高温差、最低温差和平均温差；
[0010]降水量，包括平均降水量和累计降水量；
[0011]湿度，包括最高湿度、最低湿度和平均湿度；
[0012]风速，包括最高风速、最低风速和平均风速；
[0013]气压，包括最高气压、最低气压和平均气压；
[0014]风向，包括角度。
[0015]进一步，所述气象键值数据库中的所述主键包含各个地区气象自动站的名称，所述子健包含各个时间维度，所述键值包含各维度气象数据值。
[0016]进一步，所述分布式集群包括一个以上的主集群和若干个从集群；
[0017]所述主集群用于存储一级索引；
[0018]所述从集群用于按照预先定义存储海量气象要素数据。
[0019]进一步，所述主集群包括集群排序表，用于按顺序对若干个所述从集群进行排序记录。
[0020]进一步，所述预先定义表示每个从集群按顺序存储每个气象自动站的海量气象要素数据，其与集群排序表一一对应。
[0021]进一步，所述对待查询地区的气象自动站名称进行集群存储定位，包括：采用二分查找法对所述分布式集群中的集群排序表进行搜索。
[0022]一种面向海量气象要素数据存储与查询的系统，其包括：气象数据获取模块，逐时获取各个地区气象自动站所采集到的海量气象要素数据，对其数据维度统计划分；键值数据库创建模块，提取所述数据维度统计划分后的海量气象要素数据，构建包括主键
‑
子健
‑
键值的气象键值数据库，同时将各个地区气象自动站作为一级索引；其中，所述一级索引与所述气象键值数据库中的主键一一对应；键值数据库集群存储模块，对所述气象键值数据库进行分布式集群存储；气象要素查询模块，对待查询地区的气象自动站名称进行集群存储定位，进行海量气象要素数据查询。
[0023]一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
[0024]一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
[0025]本专利技术由于采取以上技术方案，其具有以下优点：
[0026]1、本专利技术采用nosql数据库中的键值数据存储方法并基于分布式集群模式对海量气象要素数据进行分布式存储，其相较于现有集中型关系数据库方式而言，数据存储成本低，读写能力强，有利于满足对海量气象要素数据进行大规模存储的要求。
[0027]2、本专利技术通过对集群进行排序记录，并基于二分查找法进行海量气象要素数据搜索，同时基于键值数据库读写速度快的优点，有利于实现对海量气象要素数据的快速查找，进而有利于为气象、工业、农业、水文水利、环保、高速公路、机场和港口等领域提供气象综合信息服务，以实现海量历史气象数据真正的价值。
附图说明
[0028]图1是本专利技术一实施例中面向海量气象要素数据存储与查询的方法流程示意图。
具体实施方式
[0029]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例的附图，对本专利技术实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发
明的一部分实施例，而不是全部的实施例。基于所描述的本专利技术的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0031]本专利技术提供的面向海量气象要素数据存储与查询的方法及系统，属于气象数据处理
，包括：逐时获取各个地区气象自动站所采集到的海量气象要素数据，对其数据维度统计划分；提取数据维度统计划分后的海量气象要素数据，构建包括主键
‑
子健
‑
键值的气象键值数据库，同时将各个地区气象自动站作为一级索引；对气象键值数据库进行分布式集群存储；对待查询地区的气象自动站名称进行集群存储定位，进行海量气象要素数据查询。本专利技术采用nosql数据库中的键值数据存储方法并基于分布式集群模式对海量气象要素数据进行分布式存储，其相较于现有集中型关系数据库方式而言，数据存储成本低，读写能力强，有利于满足对海量气象要素数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向海量气象要素数据存储与查询的方法，其特征在于，包括：逐时获取各个地区气象自动站所采集到的海量气象要素数据，对其数据维度统计划分；提取所述数据维度统计划分后的海量气象要素数据，构建包括主键
‑
子健
‑
键值的气象键值数据库，同时将各个地区气象自动站作为一级索引；其中，所述一级索引与所述气象键值数据库中的主键一一对应；对所述气象键值数据库进行分布式集群存储；对待查询地区的气象自动站名称进行集群存储定位，进行海量气象要素数据查询。2.如权利要求1所述面向海量气象要素数据存储与查询的方法，其特征在于，所述数据维度统计划分，包括：最低气温，包括最高、最低和平均气温；最高气温，包括最高、最低和平均气温；温差，包括最高温差、最低温差和平均温差；降水量，包括平均降水量和累计降水量；湿度，包括最高湿度、最低湿度和平均湿度；风速，包括最高风速、最低风速和平均风速；气压，包括最高气压、最低气压和平均气压；风向，包括角度。3.如权利要求1所述面向海量气象要素数据存储与查询的方法，其特征在于，所述气象键值数据库中的所述主键包含各个地区气象自动站的名称，所述子健包含各个时间维度，所述键值包含各维度气象数据值。4.如权利要求1所述面向海量气象要素数据存储与查询的方法，其特征在于，所述分布式集群包括一个以上的主集群和若干个从集群；所述主集群用于存储一级索引；所述从集群用于按照预先定义存储海量气象要素数据。5.如权利要求4所述面向海量气象要素数据存储与查询的方法，其特征在于，所述主集群包括集群排序表，用于按顺序对若干...

【专利技术属性】
技术研发人员：刘玮，方立群，徐强，陈津津，吕辰龙，蒋宝贵，
申请(专利权)人：中国人民解放军军事科学院军事医学研究院，
类型：发明
国别省市：