一种NCO气象数据结构化存储方法和装置制造方法及图纸

本发明专利技术提供一种NCO气象数据结构化存储方法和装置，先将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS，然后对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS，最后根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库，实现NCO气象数据的解析和结构化存储。本发明专利技术提供的技术方案基于Hadoop的可靠、高效和可伸缩性，并通过Sqoop、MapReduce和Hive等技术一气呵成地实现NCO气象数据的迁移、解析和结构化存储，实现过程简单明了，避免了代码复杂和编程繁琐等问题。

A structured storage method and device for NCO meteorological data

【技术实现步骤摘要】
一种NCO气象数据结构化存储方法和装置
本专利技术涉及新能源
，具体涉及一种NCO气象数据结构化存储方法和装置。
技术介绍
风电功率预测对电力系统有着重要的意义，精确的预测可以降低风电并网带来的冲击，提高风电渗透率，增强电力系统运行的稳定性。基于广域时空大数据分析的风电功率预测方法旨在借助数据挖掘技术研究广域时空下大量气象观测数据及功率测试数据之间的相关关系以实现对风电功率短期精确预测的目的。气象数据通常需要借助NetCDF数据操作员(NetCDFOperator，NCO)存储为网络通用数据格式(networkCommonDataForm，NetCDF)，是一种典型的非结构化数据，并基于目录树形结构的文件系统进行组织，而风电功率测试数据在电网系统中通常存放于关系型数据库进行管理。由于气象数据的非结构化存储方式和风电功率测试数据的结构化存储方式有着本质区别，所以需要将NCO气象数据进一步解析并存放为结构化的关系型数据，提高后续数据研究应用的便捷性。近年来，随着当前电厂和风电厂的快速发展，气象业务持续增多，气象数据的存储量也成几何数量级迅猛增长，于是基于单机计算的传统的java语言本文档来自技高网...

【技术保护点】
一种NCO气象数据结构化存储方法，所述NCO气象数据为NetCDF格式的气象数据，所述NetCDF为网络通用数据格式；其特征在于，所述方法包括：将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS；对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS；根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库。

【技术特征摘要】
1.一种NCO气象数据结构化存储方法，所述NCO气象数据为NetCDF格式的气象数据，所述NetCDF为网络通用数据格式；其特征在于，所述方法包括：将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS；对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS；根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库。2.根据权利要求1所述的NCO气象数据结构化存储方法，其特征在于，所述将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS包括：对基础气象数据进行天气预报模式WRF运算，并将WRF模式运算后的气象数据进行行赋值；通过NCO将行赋值后的气象数据存储为NetCDF格式的NCO气象数据，并将NetCDF格式的NCO气象数据存储至本地文件系统；通过Sqoop将NetCDF格式的NCO气象数据上传至HDFS，并通过HDFS将NetCDF格式的NCO气象数据分发给Hadoop中不同节点。3.根据权利要求2所述的NCO气象数据结构化存储方法，其特征在于，所述对基础气象数据进行天气预报模式WRF运算包括：在时间积分上采用三阶或者四阶的Runge-Kutta算法对基础气象数据进行处理。4.根据权利要求2所述的NCO气象数据结构化存储方法，其特征在于，所述对HDFS中的NCO气象数据进行解析包括：对NetCDF格式的NCO气象数据进行Map处理，并对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据。5.根据权利要求4所述的NCO气象数据结构化存储方法，其特征在于，所述对NetCDF格式的NCO气象数据进行Map处理包括：打开NetCDF格式的NCO气象数据，读取NetCDF格式的NCO气象数据的全局属性；从读取的全局属性中提取维对象、变量以及变量在对应维度下的数值；对提取的维对象、变量以及变量在对应维度下的数值进行整合，得到键值对形式的气象数据。6.根据权利要求5所述的NCO气象数据结构化存储方法，其特征在于，所述对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据包括：Combiner对键值对形式的气象数据进行Combine处理，并通过Shuffle与Sort将Combine处理后的键值对形式的气象数据传输到Reducer；Reducer对Shuffle与Sort传输的所述Combine处理后的键值对形式的气象数据进行Reduce处理，得到结构化气象数据。7.根据权利要求6所述的NCO气象数据结构化存储方法，其特征在于，所述将解析得到的结构化气象数据保存至HDFS包括：将解析得到的结构化气象数据以.txt格式保存至HDFS。8.根据权利要求6所述的NCO气象数据结构化存储方法，其特征在于，所述根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库包括：通过Sqoop将用于分布式环...

【专利技术属性】
技术研发人员：车建峰，王勃，冯双磊，刘纯，王伟胜，陈世涛，窦金利，杨红英，张菲，靳双龙，王铮，赵艳青，姜文玲，胡菊，马振强，
申请(专利权)人：中国电力科学研究院，国家电网公司，广州泰迪智能科技有限公司，国网山东省电力公司青岛供电公司，
类型：发明
国别省市：北京,11