一种多源气象数据集成方法及系统技术方案

本发明专利技术涉及一种多源气象数据集成方法及系统，包括：采集天气气象数据和电力气象数据形成原始数据；将原始数据格式统一为预设的标准格式；将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。上述方案用于提高数值天气预报精度，实现电力行业定制化数值模式的建立与应用。

A METHOD AND SYSTEM FOR INTEGRATION OF MULTI-SOURCE METEOROLOGICAL DATA

【技术实现步骤摘要】
一种多源气象数据集成方法及系统
本专利技术属于新能源发电领域，具体涉及一种多源气象数据集成方法及系统。
技术介绍
目前所有并网新能源场站及输电线路沿途都建设了专用的气象监测设备，结合气象部门的雷达、卫星及常规气象观测网络，可服务于电网运行的气象观测数据已呈现出“来源多样、体量巨大”的典型特征。但这些数据由于格式及结构迥异，尚未有效地开展统一集成应用，通过多源气象观测数据集成技术的研究应用，有效提高气象数据集成融合程度，全面支撑新能源资源预报及模拟评价。同时，多源气象观测数据集成方面已取得一定成果，并建立了相对成熟的多源观测数据集成系统。世界气象组织WMO(WorldWeatherOrganization)集成了世界上接近两百个国家和地区会员的多种来源的气象观测数据，通过质量控制和空间分析等方法集成这些观测数据并与成员单位共享；美国建立了国家气候资料中心，利用美国境内的气象资源传输网络收集全球和美国的气象资料，并对数据进行识别、质量控制、集成、存档和共享处理，中国气象局开发了MICAPS综合气象数据检索系统，并研究了各类探测系统、不同类型数据的质量控制技术和误差分析订正方法，得到了较高质量的数据和分析产品。随着以风电、光伏为代表的清洁能源大规模接入电网，以及特高压电网、智能电网建设的加快，气象条件与电网运行的关系越来越密切。从资源空间分布来看，卫星数据不能满足新能源发电对于风、辐照度等气象数据时间序列连续的要求；从新能源场站产生气象要素来看，新能源场站监测的气象要素与发电装置的高度息息相关，主要是不同高度风速、辐照度、湿度、温度等，较常规气象数据更为定制化。此外，监测装置记录的数据需要利用专业软件和程序解析，中间处理过程更为复杂；从输电通道分析，电网的输电线路一般架设在人烟稀少与地形复杂的山区、戈壁滩等，而气象部门更多的是面向公众服务，部署的观测站点主要集中在人口较为密集、活动频繁的非输电通道地区。输电线路沿途安装的微气象、覆冰等监测装置，在弥补输电通道常规气象数据缺失的同时，可以更密集、更集中的监测输电线路周围气象条件。总的来说，电力行业的气象数据量更大、时间间隔更加密集、格式更加复杂，需要更多的手段与方法去处理，数据质量参差不齐，需要从不同的时空维度去检验校正，集成融合的难度更大。多源气象数据集成虽然有一定的基础，但仍存在以下问题：首先，受局地气候影响，数据集成具有一定的区域性，气象数据集成系统无法接入新能源场站等电力气象观测数据。其次，气象部门观测数据和新能源场站等电力气象数据来源多样化、结构千差万别，有待进一步开展多源数据融合技术的研究。
技术实现思路
为了解决上述问题，本专利技术提出一种多源气象数据集成方法及系统，有效提高数值天气预报精度，实现电力行业定制化数值模式的建立与应用。本专利技术的目的是采用下述技术方案实现的：一种多源气象数据集成方法，所述方法包括：采集天气气象数据和电力气象数据形成原始数据；将所述原始数据格式统一为预设的标准格式；将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。优选的，所述将原始数据格式统一为预设的标准格式后还包括：将统一为预设标准格式的所有气象数据存储到多源气象数据库中；所述将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集包括：将统一存储的所有气象数据进行集成处理形成气象监测数据集。优选的，所述将原始数据格式统一为预设的标准格式包括：通过特征要素提取法和数据反演法将数据转化为标准格式；所述标准格式为ASCII文本格式。优选的，所述天气气象数据包括：卫星天气数据、气象站天气数据；所述电力气象数据包括：新能源场站观测数据、雷达数据和输电线路数据。进一步地，所述输电线路数据包括监测时间、线路名称、杆塔号、经纬度信息和气象要素观测值；所述新能源场站观测数据，包括风电场编号、测风塔编号、轮毂高度、经纬度信息和气象要素观测值；所述雷达数据，包括站点编号、名称、采集时间、雷达波长、回波形状、体扫层数和经纬度信息；所述卫星天气数据，包括采集时间、波段、频谱范围、分辨率和气象要素反演矩阵数据。进一步地，所述将统一存储的所有气象数据进行集成处理形成气象监测数据集包括：首先判断多源气象数据库中是否存在异常数据，若存在则剔除异常数据；然后采用插值分析法、缓冲区分析法和叠置分析法对剔除异常后的数据集，生成气象监测数据集。进一步地，所述对多源气象数据库中的气象数据进行异常处理包括：判断多源气象数据库中的气象数据是否存在异常数据，若存在则剔除异常数据；所述判断多源气象数据库中的气象数据是否存在异常数据，包括：进行逻辑一致性检验，包括：将低于预设阈值的气象数据定义为异常数据；进行时间连续性检验，包括判断待预测气象数据在连续时间范围内的规律性的变化；若单位时间内数据变化明显或者无变化，则定义当前时刻的数据为可疑数据，并与历史异常数据进行一致性比对，若可疑数据与历史异常数据一致，则确定所述可疑数据为异常数据；进行空间一致性检验，包括：基于空间地理信息，结合四方位划分的方法，以目标位置为圆心划分不同半径的区域，基于空间地理信息检验东西南北四方位的气象数据关联性，若某一天气数据波动明显，则判定所述天气数据为异常数据；其中，空间地理信息包括下垫面数据信息和输电线路杆塔坐标信息；进行完整性与正确性检验，包括：检查气象数据的完整性与正确性，将未包含全部属性的气象数据定义为异常数据；所述气象数据的属性，包括文件命名、数据文件、数据分层、要素表达、数据格式、数据组织、数据存储介质、原始数据；基于数据挖掘的关联匹配检验，包括：利用Apriori算法生成频繁项集，获取频繁项集产生置信度为0.6以上的关联规则，将不同气象要素的变化进行关联，建立气象数据规则库；将多源气象数据库中每个时刻的气象要素根据关联规则与气象数据规则库中的每条规则进行匹配，逐时刻检验不同气象要素的变化是否与关联则匹配，将无法匹配的数据定义为异常数据。进一步地，所述利用Apriori算法生成频繁项集包括：根据实际工况在多源气象数据库中选取气象要素，根据仪器说明书及导出数据格式，获取地面观测站数据库中包含监测站点编号、名称、时间、经纬度信息、海拔高度和气象要素观测值；对气象要素观测值进行离散化处理，并按气象要素的类别和等级分类；根据预设的支持度阈值和置信度阈值，采用Apriori算法计算获取满足支持度和置信度阈值允许范围内的气象要素观测值的关联规则构成的频繁项集。优选的，所述采集天气气象数据包括：通过气象部门获得气象站天气数据；通过网络下载或者卫星接收站接收卫星天气数据。优选的，所述采集电力气象数据包括：通过气象部门获得雷达数据；利用新能源场站装有的气象装置，获得RWD格式的新能源场站观测数据；利用输电线路装有的微气象在线监测装置，获得地形复杂地区覆盖输电通道的输电线路数据。优选的，一种面向电力行业的多源气象数据集成系统，其特征在于，包括：采集模块，用于采集天气气象数据和电力气象数据形成原始数据；存储模块，用于将原始数据格式统一为预设的标准格式；集成模块，用于将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。与最接近的现有技术比，本专利技术的有益效果为：本专利技术所提出的一种多源气象数据集成方法及系统，主要针对于本文档来自技高网...

【技术保护点】
1.一种多源气象数据集成方法，其特征在于，所述方法包括：采集天气气象数据和电力气象数据形成原始数据；将所述原始数据格式统一为预设的标准格式；将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。

【技术特征摘要】
1.一种多源气象数据集成方法，其特征在于，所述方法包括：采集天气气象数据和电力气象数据形成原始数据；将所述原始数据格式统一为预设的标准格式；将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。2.如权利要求1所述的方法，其特征在于，所述将原始数据格式统一为预设的标准格式后还包括：将统一为预设标准格式的所有气象数据存储到多源气象数据库中；所述将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集包括：将统一存储的所有气象数据进行集成处理形成气象监测数据集。3.如权利要求1所述的方法，其特征在于，所述将原始数据格式统一为预设的标准格式包括：通过特征要素提取法和数据反演法将数据转化为标准格式；所述标准格式为ASCII文本格式。4.如权利要求1所述的方法，其特征在于，所述天气气象数据包括：卫星天气数据、气象站天气数据；所述电力气象数据包括：新能源场站观测数据、雷达数据和输电线路数据。5.如权利要求4所述的方法，其特征在于，所述输电线路数据包括监测时间、线路名称、杆塔号、经纬度信息和气象要素观测值；所述新能源场站观测数据，包括风电场编号、测风塔编号、轮毂高度、经纬度信息和气象要素观测值；所述雷达数据，包括站点编号、名称、采集时间、雷达波长、回波形状、体扫层数和经纬度信息；所述卫星天气数据，包括采集时间、波段、频谱范围、分辨率和气象要素反演矩阵数据。6.如权利要求2所述的方法，其特征在于，所述将统一存储的所有气象数据进行集成处理形成气象监测数据集包括：对多源气象数据库中的气象数据进行异常处理；然后采用插值分析法、缓冲区分析法和叠置分析法对异常处理后的数据集合，生成气象监测数据集。7.如权利要求6所述的方法，其特征在于，所述对多源气象数据库中的气象数据进行异常处理包括：判断多源气象数据库中的气象数据是否存在异常数据，若存在则剔除异常数据；所述判断多源气象数据库中的气象数据是否存在异常数据，包括：进行逻辑一致性检验，包括：将低于预设阈值的气象数据定义为异常数据；进行时间连续性检验，包括判断待预测气象数据在连续时间范围内的规律性的变化；若单位时间内数据变化明显或者无变化，则定义当前时刻的数据为可疑数据，并与历史异常数据进行一致性比对，若可疑数据与历史异常数据一致，则确定所述...

【专利技术属性】
技术研发人员：滑申冰，靳双龙，冯双磊，王勃，王伟胜，刘纯，胡菊，刘晓琳，宋宗朋，马振强，王姝，王铮，车建峰，
申请(专利权)人：中国电力科学研究院，国家电网公司，国网江苏省电力公司，
类型：发明
国别省市：北京,11