基于多源数据和机器学习的气象数据异常事件识别方法技术

本发明专利技术提供了一种基于多源数据和机器学习的气象数据异常事件识别方法。在进行地面气象数据质量异常事件的识别时，引入了地理信息数据、地面相关气象数据及累年气候标准值这些多源数据；利用当前站点及其周边邻近站的多源数据建立特征向量，使用两种机器学习算法构建气象要素偏差估计模型，计算站点各气象要素值的偏差序列，并通过统计方法得到站点各气象要素的平均偏差、偏差标准差、日评估因子、持续时间等事件统计特征；通过对事件统计特征的分析，构建质量异常事件划分指标，进而确定异常事件类型，达到识别气象数据质量异常事件的目的，可对地面气象数据长期质量问题进行实时监测，对提升地面气象数据质量和促进气象站点仪器维护具有较好的支撑作用。器维护具有较好的支撑作用。器维护具有较好的支撑作用。

【技术实现步骤摘要】
基于多源数据和机器学习的气象数据异常事件识别方法


[0001]本专利技术属于应用气象
，更具体地，涉及一种基于多源数据和机器学习的气象数据异常事件识别方法。

技术介绍

[0002]气象资料的质量管理在业务逻辑上可分为质量控制、质量评估和质量监视3个环节。质量控制的重点是检测观测数据的粗大误差，满足用户的高时效需求，可检测单个孤立错误数据，但对系统性偏差问题的检测能力有限；质量评估是对一批资料的质量进行评价，反映的是观测要素的整体质量，可对由传感器性能下降和观测环境不佳导致的隐藏较深数据质量问题进行检测；质量监视是将质量控制与质量评估的结果反馈到观测端，促成数据质量的闭环管理。
[0003]2015年，气象资料业务系统(MDOS)在全国各省业务应用，实现了地面气象观测数据实时质量控制，有效的识别出了观测数据中粗大误差数据，提升了地面观测资料的应用质量。但从2018年起“地面观测自动化的工作”及“实况业务建设工作”等业务工作的推进对地面观测资料的质量和管理提出了新要求。一方面，对数据质量的要求更加严格精细；另一方面，台站无人值守、数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源数据和机器学习的气象数据异常事件识别方法，其特征在于，包括如下步骤：S1、首先对气象要素的地面气象观测数据、累年气候标准值及地理信息数据这些多源数据进行获取，所述气象要素包括气温、气压、相对湿度、风速、降水量；S2、利用所述多源数据建立初始特征向量{lat,lon,alt,slope,aspect,sea,relatedeles}；其中，lat表示纬度、lon表示经度，alt度海拔高度、slope表示坡度、aspect表示坡向，sea表示海洋效应因子，relatedeles表示气象要素；S3、利用特征重要性分析工具对初始特征向量进行分析和筛选，分别保留对气温、气压、相对湿度、风速这些气象要素影响较大的一些特征因子；S4、基于保留下来的特征因子所对应的多源数据，以周围邻近气象站的特征因子作为模型输入、当前站对应的气象要素观测值作为目标值分别采用随机森林算法和极端梯度提升算法进行模型训练，得到训练好的随机森林模型和极端梯度提升模型；S5、以周围邻近气象站的特征因子作为模型输入，分别输入到随机森林模型和极端梯度提升模型，分别得到气象要素的估计值Est_RF和Est_XGB，然后得到气象要素逐小时的偏差值BIAS，从而构建出建气象要素偏差估计模型，具体计算公式如下：Est＝ω1*Est_RF+ω2*Est_XGB，BIAS＝Obs
‑
Est；其中，ω1和ω2为对应估计值的权重，ω1和ω2均大于0，且ω1+ω2＝1，Obs表示当前站对应的气象要素观测值，Est表示当前站对应的气象要素最终估计值；S6、基于气象要素的逐小时偏差值BIAS，先构建日评估因子，基于日评估因子实现日时间尺度质量异常事件的确认，再结合日时间尺度事件构建平均偏差、偏差标准差、异常事件持续时间这些事件统计特征，实现气象数据任意时段质量异常事件的识别。2.根据权利要求1所述的基于多源数据和机器学习的气象数据异常事件识别方法，其特征在于，地面气象观测数据包括气象要素的逐小时数据以及基于逐小时数据得到的更长时间范围对应的气象要素的均值与变率。3.根据权利要求1所述的基于多源数据和机器学习的气象数据异常事件识别方法，其特征在于，累年气候标准值包括近30年的日、月及年气象要素的平均值、极值和各类事件发生频数这些气候标准值。4.根据权利要求1所述...

【专利技术属性】
技术研发人员：刘莹，闫荞荞，刘园园，王星宇，王海军，李波，刘梦雨，匡晓为，严婧，孙越，杨宏谦，
申请(专利权)人：湖北省气象信息与技术保障中心，
类型：发明
国别省市：