气象格点数据管理方法和装置制造方法及图纸

本发明专利技术公开了一种气象格点数据管理方法和装置，属于气象信息处理领域。本发明专利技术提供基于MPP分布式数据库的气象格点数据存储管理方案，同时针对常见分析算法实现了分布式并行优化，有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式，在数据库内部原生支持格点数据的存储；通过SQL实现对格点数据的操作，包括数据写入、简单查询和复杂分析；充分利用并行处理的优势，针对部分聚合函数实现分布式执行优化；将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点，如事务支持，SQL支持，多用户共享等。多用户共享等。多用户共享等。

【技术实现步骤摘要】
气象格点数据管理方法和装置


[0001]本专利技术涉及气象信息处理领域，特别是指一种气象格点数据管理方法和装置。

技术介绍

[0002]气象数据就空间分布方式分为两种：站点数据和格点数据。站点数据就是在观测站点实测到的数据。格点数据就是将空间上分布不均匀的站点数据，按一定的几何形态格子归并，求出各格子中数据的平均值，置于格子的中心位置，这种处理所形成的数据，特点就是时空分辨率比较高。
[0003]在实际应用中，目前已经积累了大量的站点观测数据，但是受气象观测站点空间分布的不均一、时间序列长短不一、观测台站环境变迁等影响，在具体的气候分析和数值模拟等研究中，离散的站点数据不利于可视化与分析，不能完全真实代表区域气候变化的特征，气象预测面临着诸多的限制，所以在某些场景下，需要把站点数据转化成规则的、连续的格点数据。格点数据利用了空间插值技术将离散的站点资料转化为空间连续的、规则的网格点序列，可以有效的反映气候要素的空间信息，大大提高了气候数据序列在对应网格范围的气候代表性。
[0004]在现有方案中，气象格点数据以NetCDF文件的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种气象格点数据管理方法，其特征在于，所述方法包括：S100：将气象格点数据进行分片；S200：通过数据库插件将分片后的气象格点数据以二进制的形式存储到分布式数据库集群中，并以SQL函数的方式注册到所述分布式数据库集群中；其中，所述分布式数据库集群包括若干节点，每个节点均包括各自的处理器、内存和磁盘，各个节点的处理器均通过互连网络通信，每个节点上均运行各自单独的数据库服务，分片后的气象格点数据存储到各个节点的数据库中，并以SQL函数的方式注册到各个节点的数据库中。2.根据权利要求1所述的气象格点数据管理方法，其特征在于，所述气象格点数据分为常年值数据和全年值数据；所述全年值数据采用水平分片的方式分片后分布存储到各个节点的数据库中，所述常年值数据存储在每个节点的数据库中的复制表内。3.根据权利要求2所述的气象格点数据管理方法，其特征在于，根据所述常年值数据中的主键列对所述常年值数据进行hash分片，将单个数据源的常年值数据存储到一个分区表中，并增加一列用于区分不同的要素类型。4.根据权利要求2所述的气象格点数据管理方法，其特征在于，所述气象格点数据包括文件头和数据内容，所述文件头存储气象格点数据的元数据信息，所述数据内容存储气象格点数据的数据信息。5.根据权利要求1
‑
4任一所述的气象格点数据管理方法，其特征在于，所述节点分为协调节点和工作节点，所述协调节点负责请求的解析和分发，并提供集群管理，所述工作节点负责本地分片数据的存储和计算，所述协调节点保存所述分布式数据库集群的所有元数据信息，所述工作节点保存本地分片的元数据信息。6.根据权利要求5所述的气象格点数据管理方法，其特征在于，所述方法还包括：通过查询下推的方式进行查询优化，其中：各个工作节点执行查询操作，并将结果返回给所述协调节点，保存在所述协调节点的本地临...

【专利技术属性】
技术研发人员：王舒，徐拥军，刘媛媛，王琦，杨明，倪学磊，
申请(专利权)人：国家气象信息中心中国气象局气象数据中心，
类型：发明
国别省市：