基于时序分块索引的海洋气象观测数据毫秒级查询系统技术方案

本发明专利技术公开了基于时序分块索引的海洋气象观测数据毫秒级查询系统，包括：数据输入模块、数据预处理模块、数据分层建模模块、数据存储集群、数据分析引擎、数据查询引擎和数据操作接口模块；本发明专利技术基于数据建模、数据抽稀和数据分块技术，针对不同的气象海洋空间天气数据，进行数据预处理，实现海量数据的分布式存储与访问；通过输入海洋实况观测数据、预报数据或者历史数据，针对气象海洋空间天气数据特性进行模型构建、索引设计，完成分布式存储，运用数据查询引擎、数据分析引擎，即可实现气象海洋空间天气数据的快速聚合查询，使用分布式数据库实现格点数据的存储和查询，有效解决气象海洋空间天气数据的规模和查询性能问题。

【技术实现步骤摘要】

本专利技术属于数据处理领域，更具体地说，尤其涉及基于时序分块索引的海洋气象观测数据毫秒级查询系统。

技术介绍

1、气象海洋空间天气数据是一类典型的大数据，具有数据量大、时效性高、数据种类丰富等特点。气象海洋空间天气数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量，每天产生的数据量常在几十tb到上百tb的规模，且在爆发性增长。如何存储和高效的查询这些气象海洋空间天气数据越来越成为一个难题。

2、传统存储方案常常采用关系型数据库加文件系统的方式实现这类气象海洋空间天气数据的存储和实时查询，这种方案在可扩展性、可维护性和性能上都有一些缺陷，随着数据规模的增大，缺点越来越明显。

3、传统存储方案在规模、性能和应用服务的针对性方面都满足不了日益增长的应用要求。在规模上，其传统的ioe架构决定了其在资源的横向扩展上天生有缺陷，一方面，长时间序列的历史数据不能完全在线存储和服务，有些常用的数据还要基于归档数据进行回取服务，如再分析数据、数值预报产品等；另一方面，对于海量爆发的数据资源，更缺乏存储的能力。在性能本文档来自技高网...

【技术保护点】

1.基于时序分块索引的海洋气象观测数据毫秒级查询系统，其特征在于，包括：数据输入模块、数据预处理模块、数据分层建模模块、数据存储集群、数据分析引擎、数据查询引擎和数据操作接口模块；

2.根据权利要求1所述的基于时序分块索引的海洋气象观测数据毫秒级查询系统，其特征在于，所述数据预处理模块包括站点数据标准化子单元和格点数据处理子单元；所述格点数据处理子单元被配置为对超过500×500分辨率的格点数据进行分块处理、对超过1000×1000分辨率的格点数据进行分层抽稀处理、并建立时空索引。

3.根据权利要求1所述的基于时序分块索引的海洋气象观测数据毫秒级查询系统，其特征在...

【技术特征摘要】

1.基于时序分块索引的海洋气象观测数据毫秒级查询系统，其特征在于，包括：数据输入模块、数据预处理模块、数据分层建模模块、数据存储集群、数据分析引擎、数据查询引擎和数据操作接口模块；

2.根据权利要求1所述的基于时序分块索引的海洋气象观测数据毫秒级查询系统，其特征在于，所述数据预处理模块包括站点数据标准化子单元和格点数据处理子单元；所述格点数据处理子单元被配置为对超过500×500分辨率的格点数据进行分块处理、对超过1000×1000分辨率的格点数据进行分层抽稀处理、并建立时空索引。

3.根据权利要求1所述的基于时序分块索引的海洋气象观测数据毫秒级查询系统，其特征在于，所述数据分析引擎被配置为基于所述数据立方体构建数据主题域，并通过统计学方法执行所述多阶聚合计算，所述多阶聚合计算包括最大、最小、求和和平均操作；

4.根据权利要求2所述的基于时序分块索引的海洋气象观测数据毫秒级查询系统，其特征在于，分块处理的时空索引权重通过时空分辨率熵值模型动态优化，表达式为：

5.根据权利要求3所述的基于时序分块索引的海洋气象观测数据毫秒级查询系统，其特征在于，多阶聚合计算的执行效率通过张量缩并复杂度模型预测，表达式为：

6.根据权利要求3所述的基于时...

【专利技术属性】
技术研发人员：刘伯俊，刘佳，张弛，许多，盛爱晶，郑明鹏，胡昕，王丹华，
申请(专利权)人：南京恩瑞特实业有限公司，
类型：发明
国别省市：