一种新能源气象数据管理方法及系统技术方案

本发明专利技术提供了一种新能源气象数据管理方法及系统，包括：获取气象数据；将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；建立针对所述节点的气象数据查询表。本发明专利技术提供的技术方案利用MPP的分布式存储能力，支撑数十PB级气象局量测数据；可以高效存储和快速处理海量时序大数据；基于MPP库内的Hash的Shared nothing架构上的散列存储，和MPP并行化处理能力，最大发挥了单节点内的智能索引和列式存储能力，大大加速对大表数据的扫描速度。

A New Energy Meteorological Data Management Method and System

【技术实现步骤摘要】
一种新能源气象数据管理方法及系统
本专利技术属于新能源气象领域、大数据领域，具体涉及一种新能源气象数据管理方法及系统。
技术介绍
目前新能源功率预测是通过建立数学模型提前预知未来时段新能源功率波动规律的技术。由于无法整体把握体量巨大结构复杂的天气预报数据、气象观测数据、功率预测数据以及其他新能源场站的运行数据，新能源功率预测的研究思路多局限于针对单个风电场的独立时间断面上的预测，根据认知范围内理论上的物理意义，人为的对数据信息进行了分割和降维处理，忽略了风能资源及其它要素在时间尺度和空间尺度上的关联特性，以二维模式来描述分析多维空间上的数据关联，局限了对新能源功率的认知维度，从而导致预测精度提升空间非常有限。数值天气预报是风电、光伏等新能源功率预测最主要的输入数据，据统计，新能源预测功率的误差中约有60％源自数值天气预报，扩大数值天气预报的预测范围和提高数值天气预报数据的精度是实现新能源功率预测精度提升的最有效手段。目前，面向新能源功率预测的中尺度数值预报模式的空间分辨率多为10km×10km，而典型的装机容量为5MW的风电场占地面积约为3km×3km，光伏电站的占地面积更小，对计算资源的需求随空间分辨率的增大呈指数级增长。针对3km×3km的气象数据目前以分布式对象存储系统进行存储，气象数据通过预测模型会产生未来3天预测数据，由于这些数据量比较大，入库效率比较低，因此往往会被丢弃不进行存储，从而造成具有分析价值数据的流失。
技术实现思路
针对现有技术的不足，本专利技术提出一种新能源气象数据管理方法及系统，包括介绍MPP+时间序列数据库的总体架构，提出数据存储扩展性方案，为基础电力气象预测提供高效、精准的数据依据，有效支撑电网安全稳定运行。一种新能源气象数据管理方法，包括：获取气象数据；将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；建立针对所述节点的气象数据查询表。进一步的，所述将所述获取的气象数据存储在大规模并行处理系统MPP的节点上，包括：将所述获取的气象数据按照时间进行排序；对排序后的数据进行平均分组；将分组后的数据采用分布式存储的方式存储在MPP的节点上。进一步的，所述建立针对所述节点的气象数据查询表，包括：将所述节点内的数据进行区域排序，建立所述气象数据查询表。进一步的，所述将所述节点内的数据进行区域排序，建立所述气象数据查询表前还包括：若所述节点内存在数据，则将获取的气象数据建立临时表。进一步的，还包括：利用所述气象数据查询表进行数据的查询，包括：根据散列存储方法按时间字段进行查询；和/或根据散列存储方法按区域编号进行查询。进一步的，所述气象数据为PB级气象数据。进一步的，所述节点采用Share-nothing架构。一种新能源气象数据管理系统，包括：获取模块，用于获取气象数据；存储模块，用于将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；建立模块，用于建立针对所述节点的气象数据查询表。进一步的，所述存储模块，用于，将所述获取的气象数据按照时间进行排序；对排序后的数据进行平均分组；将分组后的数据采用分布式存储的方式存储在MPP的节点上。进一步的，所述建立模块包括：排序子模块，用于将所述节点内的数据进行区域排序，建立所述气象数据查询表。进一步的，所述建立模块还包括：临时子模块，用于若所述节点内存在数据，则将获取的气象数据建立临时表。进一步的，还包括：查询模块，包括：时间查询子模块，用于根据散列存储方法按时间字段进行查询；和/或区域查询子模块，用于根据散列存储方法按区域编号进行查询。与最接近的现有技术比，本专利技术提供的技术方案具有以下有益效果：1、本专利技术提供的技术方案利用MPP的分布式存储能力，将气象数据进行存储，并建立气象数据查询表，方便以后对数据的查询。2、本专利技术提供的技术方案利用MPP的分布式存储能力，支撑数十PB级气象局量测数据，可以高效存储和快速处理海量时序大数据。3、本专利技术提供的技术方案基于MPP库内的Hash的Sharednothing架构上的散列存储，和MPP并行化处理能力，最大发挥了单节点内的智能索引和列式存储能力，大大加速对大表数据的扫描速度，理论上扫描速度＝500DC×65536×m智能索引过滤率×n节点。4、本专利技术提供的技术方案基于MPP的智能索引的粗粒度索引，大大控制气象数据的空间膨胀率，并防止随数据量提升而导致索引生成的代价提升，从而大大提升了数据的入库效率，可以达到秒间3.6G的加载速度。附图说明图1为本专利技术流程图；图2为数据存储节点MPP架构示意图；图3为数据存储结构示意图；图4为存储节点扩展示意图；图5为数据节点分布示意图；图6为采用数据副本方式示意图。具体实施方式下面结合附图对本专利技术做进一步详细说明。为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。实施例1、本专利技术提供了一种新能源气象数据管理方法，如图1所示，包括：获取气象数据；将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；建立针对所述节点的气象数据查询表。利用MPP的分布式存储能力，支撑数十PB级气象局量测数据，可以高效存储和快速处理海量时序大数据。实施例2、本专利技术提供了一种新能源气象数据管理系统，包括：获取模块，用于获取气象数据；存储模块，用于将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；建立模块，用于建立针对所述节点的气象数据查询表。进一步的，所述存储模块，用于，将所述获取的气象数据按照时间进行排序；对排序后的数据进行平均分组；将分组后的数据采用分布式存储的方式存储在MPP的节点上。进一步的，所述建立模块包括：排序子模块，用于将所述节点内的数据进行区域排序，建立所述气象数据查询表。进一步的，所述建立模块还包括：临时子模块，用于若所述节点内存在数据，则将获取的气象数据建立临时表。进一步的，还包括：查询模块，包括：时间查询子模块，用于根据散列存储方法按时间字段进行查询；和/或区域查询子模块，用于根据散列存储方法按区域编号进行查询。实施例3、根据大数据量需求和扩展性要求，采用MPP+时序数据库融合的技术方案。1、需求说明气象数据是典型的时态信息，对电力气象数据进行信息推衍和预测具有重要作用。它不仅可以作为历史数据长期保存，也能反映数据在应用环境中的变化趋势。合理的时态存储模型能够简化应用系统的设计，降低数据存储的冗余度，提高程序的执行效率和系统稳定性。需存储气象信息描述如下：范围：一期某地20000个采集点信息，后续范围将进一步扩大；数据生成频率：每6小时生成1次，每次生成72小时(15分钟间隔产生一组数据，共288个采集时刻)数据；数据大小：每个节点每次产生的数据约57K字节(72小时，15分钟间隔产生一组数据，共288个采集时刻，每个时刻200字节)；数据存储期限：10年；数据查询方式：1)查询某一采集点1年的数据(时间序列方式)；2)查询某一时间点全部20000个点的数据(时间断面方式)；入库要求：入本文档来自技高网...

【技术保护点】
1.一种新能源气象数据管理方法，其特征在于，包括：获取气象数据；将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；建立针对所述节点的气象数据查询表。

【技术特征摘要】
1.一种新能源气象数据管理方法，其特征在于，包括：获取气象数据；将所述获取的气象数据存储在大规模并行处理系统MPP的节点上；建立针对所述节点的气象数据查询表。2.如权利要求1所述的一种新能源气象数据管理方法，其特征在于，所述将所述获取的气象数据存储在大规模并行处理系统MPP的节点上，包括：将所述获取的气象数据按照时间进行排序；对排序后的数据进行平均分组；将分组后的数据采用分布式存储的方式存储在MPP的节点上。3.如权利要求1所述的一种新能源气象数据管理方法，其特征在于，所述建立针对所述节点的气象数据查询表，包括：将所述节点内的数据进行区域排序，建立所述气象数据查询表。4.如权利要求3所述的一种新能源气象数据管理方法，其特征在于，所述将所述节点内的数据进行区域排序，建立所述气象数据查询表前还包括：若所述节点内存在数据，则将获取的气象数据建立临时表。5.如权利要求1所述的一种新能源气象数据管理方法，其特征在于，还包括：利用所述气象数据查询表进行数据的查询，包括：根据散列存储方法按时间字段进行查询；和/或根据散列存储方法按区域编号进行查询。6.如权利要求1-5任一所述的一种新能源气象数据管理方法，其特征在于，所述气象数据为PB...

【专利技术属性】
技术研发人员：刘鹏，邓春宇，王晓蓉，吴紫微，车建峰，刘镇京，刘化社，
申请(专利权)人：中国电力科学研究院有限公司，国家电网公司，国网山东省电力公司青岛供电公司，华北电力大学，
类型：发明
国别省市：北京,11