NRIET基于云分类和机器学习的定量降水估测方法技术

本发明专利技术公开了一种NRIET基于云分类和机器学习的定量降水估测方法，本发明专利技术采用了基于云分类和机器学习的定量降水估测，首先进行雷达数据和雨量计数据预处理，并基于站点匹配雷达反射率和雨量计降水数据；根据雷达反射率强度识别层云和对流云等不同云系；然后使用机器学习回归算法实时进行拟合训练，得到累计降水量和雷达组合反射率的关系模型；最后实时将累计降水量和雷达组合反射率的关系模型作用于雷达组合反射率格点场数据，即可得到准实时的定量降水估测场。

NRIET quantitative precipitation estimation method based on cloud classification and machine learning

【技术实现步骤摘要】
NRIET基于云分类和机器学习的定量降水估测方法
本专利技术涉及一种NRIET基于云分类和机器学习的定量降水估测方法，属于一种降水反演

技术介绍
随着灾害性天气近年来的频繁发生，高时空分辨率的雷达定量降水估测(QPE：QuantitivePrecipationEstimation)信息，在暴雨、台风、洪水等灾害性天气的短时临近和精细化预警预报等工作中发挥越来越重要的作用。基于雷达三维组网拼图数据的定量降水估测算法已在业务中得到初步应用，但Z-R关系、雷达-雨量计融合方法等因素，限制了雷达QPE的精度，在降水估测中，这些算法环节均待进一步优化改进。目前，基于雷达和雨量计资料的联合定量降水估测算法，主要采用先雷达组网拼图，再降水估测的研究方案：首先，基于单部雷达的复合扫描平面，根据区域内多部雷达资料，进行组网拼图，得到覆盖全区域的完整组网拼图数据；然后，使用概率匹配的气候Z-R关系反演雷达估测雨量，并采用多种方法校准雷达估测雨量；最后，采用滑动窗口法，根据雨量计位置，设置一个一定大小的窗口，选择与雨量计观测雨量相关性好的校准估测雨量，作为该窗口的估测雨量。作为传统算法核心的Z-R指数关系，即雷达反射率数据与降水数据之间的经典的指数关系式：Z＝ARb(1)其中，R为单位时间内降水量，Z为基本反射率因子，可由雷达回波强度dBz根据下式进行转换计算：Z＝10dBz/10(2)根据历史雷达反射强度和雨量计降水量观测数据，可通过统计方法确定参数A和b。然后将确定的Z-R指数关系式应用于定量降水估测。根据雷达反射率数据与降水数据之间的经典的指数关系，可由雷达反射率进行定量降水估测。但降雨系统常为积云混合云降水(指在大片层状云降水嵌有对流云降水)，暴雨时的对流云区是形成强对流天气的主要原因，而层状云区对暴雨的降水量和时间有直接的作用。层状云和对流云产生机理不同，降水的机制也不同。Z-R关系依赖于特定的雨滴谱分布，而雨滴谱分布则与降水过程、降水类型以及降水的地区差异等因素均相关，参数A和b在较大范围内变动。而且雷达方程假定雨滴谱在雷达波束采样体积内均匀分布的假设，对小尺度的天气过程而言通常并不成立，即使在很小的范围内，雨滴谱仍然会表现出较大的空间变化。因此Z-R关系随着地理位置，降水强度而变化，不同风暴单体，甚至同一个风暴单体的不同区域，Z-R关系亦会发生变化，这种变化不可避免地影响到雷达降水估测的精度。
技术实现思路
针对以上问题，本专利技术利用新一代多普勒天气雷达回波强度识别混合型降水过程中层状云和对流云，使用机器学习算法对不同类型的云体分别建立与降水之间的回归关系，进而应用于雷达定量降水估测，以提高估测精度。为了解决以上问题，本专利技术采用了基于云分类和机器学习的定量降水估测，首先进行雷达数据和雨量计数据预处理，并基于站点匹配雷达反射率和雨量计降水数据；根据雷达反射率强度识别层云和对流云等不同云系；然后使用机器学习回归算法实时进行拟合训练，得到累计降水量和雷达组合反射率的关系模型；最后实时将累计降水量和雷达组合反射率的关系模型作用于雷达组合反射率格点场数据，即可得到准实时的定量降水估测场。具体技术方案如下：一种NRIET基于云分类和机器学习的定量降水估测方法，包括以下步骤：步骤一、雷达数据预处理包括单站雷达数据处理和雷达三维组网拼图：1)单站数据处理单站数据处理负责基数据压缩包的解压、质量控制和格点化处理；单部雷达的质量控制算法基于模糊逻辑的原理，根据回波强度纹理、垂直变化、径向方向变号、径向库间变化程度；径向速度区域平均值和方差，速度谱宽区域平均值共计7个物理量，结合超折射地物回波识别的梯形隶属函数，通过分步识别的方式剔除超折射地物杂波；单站格点化数据的处理，采用近邻和垂直插值相结合的方法，将质量控制后的雷达体扫数据，从球坐标系转换到笛卡尔坐标系；2)雷达三维组网拼图设置组网数据时间、空间分辨率，联合多部雷达的单站格点数据进行三维组网拼图；雷达三维组网拼图算法，根据雷达回波概率特征识别得到的单部雷达部分遮挡区域，先剔除单部雷达部分遮挡区域内的弱回波，然后再参照公式(3)计算高度层H内的组合反射率因子；其中，ZH(k，l)是高度层H上的组网反射率因子，Zi(k，l)是第i个雷达在(k，l)坐标处的反射率因子，wi(k，l)是相应的加权权重系数；第m个雷达在坐标(k，l)处的反射率因子受到部分遮挡效应的影响，因而不参与该格点的雷达组网拼图；这样处理，在多部雷达重叠探测范围内，可以有效去除部分遮挡造成的条带状雷达弱回波，提高组网拼图数据的连续性；步骤二、雨量计数据预处理：使用区域内分钟级雨量计数据，以雷达组网数据时间为标尺，累积雨量计观测雨量；在此基础上，采用空间一致性评估方法，通过对比目标站点观测要素的估计值(由周边站点的观测值计算得到)和实际观测值，对目标站点观测资料进行质量评估；在剔除估计值和实际观测值之差大于0.1mm/5分钟的观测资料的同时，允许空间差异性在0.1mm/5分钟之内的观测资料的存在；步骤三、云分类根据雷达反射率数据，区分层云和对流云，以针对不同降水类型训练反射率和降水量关系模型；(1)找出对流云点：定义对流阈值，凡是反射率因子大于等于对流阈值的点识别为对流云点；在反射率因子小于对流阈值的所有点中，判别这些点在3～5公里内是否存在达到对流阈值的点，如果有，则这一点也被识别为对流云点；如果没有，以该点为中心，取10～15公里范围内的点作为背景场，计算背景场平均反射率因子bg，如果该中心点的反射率因子大于背景场均值并超过38dBZ或10-bg2/180，也认为该点为对流云点；(2)找出对流云点的影响区域针对不同反射率因子等级，确定不同大小的影响半径，确定标准如下表所示，影响半径内的非对流云点判定为对流点影响区域；反射率因子等级影响半径25dBZ1km30dBZ2km35dBZ3km40dBZ4km步骤四、雨量计数据和雷达组合反射率数据匹配基于区域内雨量计站点，逐个将雨量计降水量数据和对应位置的雷达组合反射率数据、云分类标签进行匹配，形成用于关系模型训练和评估的样本数据集；主要包括：根据每个雨量计的坐标，查询对应位置上的雷达组合反射率数据，建立降水量-组合反射性数据对；分析数据异常值，根据数据实际分布范围查看数据异常值，在此基础上根据变量规则去除异常值；分析数据分布情况，查看降水量和组合反射率数据分布情况，并根据数据分布类型采用标准化算法，将数据进行归一化处理为标准正态分布，以便机器学习方法处理数据；根据实际样本量划分样本集，将整合好的样本集划分为训练集(约50％，可根据实际样本量调整)、验证集(30％，可根据实际样本量调整)和测试集(20％，可根据实际样本量调整)，训练集用于模型训练，验证集用于训练过程中模型调参，测试集用于最终预报模型性能测试；步骤五、对于不同类型云，分别使用机器学习算法训练Z-R关系模型本专利技术将机器学习算法应用于定量降水估测问题，并根据定量降水估测中的应用调整参数，训练回归关系模型。本专利技术涉及的问题，是对于有明确物理含义的观测量的统计推断，通过多种基于机器学习的回归算法的检验比较，选择基于决策树的xgboost回归算法对雨量计-组合反射率数据集进行回归拟合，训练Z-R关系模本文档来自技高网...

【技术保护点】
1.一种NRIET基于云分类和机器学习的定量降水估测方法，其特征在于，包括以下步骤：步骤一、雷达数据预处理包括单站雷达数据处理和雷达三维组网拼图：1)单站数据处理单站数据处理负责基数据压缩包的解压、质量控制和格点化处理；单部雷达的质量控制算法基于模糊逻辑的原理，根据回波强度纹理、垂直变化、径向方向变号、径向库间变化程度；径向速度区域平均值和方差，速度谱宽区域平均值共计7个物理量，结合超折射地物回波识别的梯形隶属函数，通过分步识别的方式剔除超折射地物杂波；单站格点化数据的处理，采用近邻和垂直插值相结合的方法，将质量控制后的雷达体扫数据，从球坐标系转换到笛卡尔坐标系；2)雷达三维组网拼图设置组网数据时间、空间分辨率，联合多部雷达的单站格点数据进行三维组网拼图；雷达三维组网拼图算法，根据雷达回波概率特征识别得到的单部雷达部分遮挡区域，先剔除单部雷达部分遮挡区域内的弱回波，然后再参照公式(3)计算高度层H内的组合反射率因子；

【技术特征摘要】
1.一种NRIET基于云分类和机器学习的定量降水估测方法，其特征在于，包括以下步骤：步骤一、雷达数据预处理包括单站雷达数据处理和雷达三维组网拼图：1)单站数据处理单站数据处理负责基数据压缩包的解压、质量控制和格点化处理；单部雷达的质量控制算法基于模糊逻辑的原理，根据回波强度纹理、垂直变化、径向方向变号、径向库间变化程度；径向速度区域平均值和方差，速度谱宽区域平均值共计7个物理量，结合超折射地物回波识别的梯形隶属函数，通过分步识别的方式剔除超折射地物杂波；单站格点化数据的处理，采用近邻和垂直插值相结合的方法，将质量控制后的雷达体扫数据，从球坐标系转换到笛卡尔坐标系；2)雷达三维组网拼图设置组网数据时间、空间分辨率，联合多部雷达的单站格点数据进行三维组网拼图；雷达三维组网拼图算法，根据雷达回波概率特征识别得到的单部雷达部分遮挡区域，先剔除单部雷达部分遮挡区域内的弱回波，然后再参照公式(3)计算高度层H内的组合反射率因子；其中，ZH(k，l)是高度层H上的组网反射率因子，Zi(k，l)是第i个雷达在(k，l)坐标处的反射率因子，wi(k，l)是相应的加权权重系数；第m个雷达在坐标(k，l)处的反射率因子受到部分遮挡效应的影响，因而不参与该格点的雷达组网拼图；步骤二、雨量计数据预处理：使用区域内分钟级雨量计数据，以雷达组网数据时间为标尺，累积雨量计观测雨量；在此基础上，采用空间一致性评估方法，通过对比目标站点观测要素的估计值(由周边站点的观测值计算得到)和实际观测值，对目标站点观测资料进行质量评估；在剔除估计值和实际观测值之差大于0.1mm/5分钟的观测资料的同时，允许空间差异性在0.1mm/5分钟之内的观测资料的存在；步骤三、云分类根据雷达反射率数据，区分层云和对流云，以针对不同降水类型训练反射率和降水量关系模型；(1)找出对流云点：定义对流阈值，凡是反射率因子大于等于对流阈值的点识别为对流云点；在反射率因子小于对流阈值的所有点中，判别这些点在3～5公里内是否存在达到对流阈值的点，如果有，则这一点也被识别为对流云点；如果没有，以该点为中心，取10～15公里范围内的点作为背景场，计算背景场平均反射率因子bg，如果该中心点的反射率因子大于背景场均值并超过38dBZ或10-bg2/180，也认为该点为对流云点；(2)找出对流云点的影响区域针对不同反射率因子等级，确定不同大小的影响半径，确定标准如下所示，影响半径内的非对流云点判定为对流点影响区域；当反射率因子等级为25dBZ时，影响半径为1km；当反射率因子等级为30dBZ时，影响半径为2km；当反射率因子等级为35dBZ时，影响半径为3km；当反射率因子等级为40dBZ时，影响半径为4km；步骤四、雨量计数据和雷达组合反射率数据匹配基于区域内雨量计站点，逐个将雨量计降水量数据和对应位置的雷达组合反射率数据、云分类标签进行匹配，形成用于关系模型训练和评估的样本数据集；主要包括：根据每个雨量计的坐标，查询对应位置上的雷达组合反射率数据，建立降水量-组合反射性数据对；分析数据异常值，根据数据实际分布范围查看数据异常值，在此基础上根据变量规则去除异常值；分析数据分布情况，查看降水量和组合反射率数据分布情况，并根据数据分布类型采用标准化算法，将数据进行归一化处理为标准正态分布，以便机器学习方法处理数据；根据实际样本量划分样本集，将整合好的样本集划分为训练集、验证集和测试集，训练集用于模型训练，验证集用于训练过程中模型调参，测试集用于最终预报模型性能测试；步骤五、对于不同类型云，分别使用机器学习算法训练Z-R关系模型本发明涉及的问题，是对于有明确物理含义的观测量的统计推断，通过多种基于机器学习的回归算法的检验比较，选择基于决策树的xgboost回归算法对雨量计-组合反射率数据集进行回归拟合，训练Z-R关系模型；使用xgboost回归算法训练Z-R关系模型的步骤包括：1)将经过数据预处理的降雨量-组合反射率数据对样本集转换为xgboost需要的数据格式；2)初步设置模型参数，包括训练轮数、提前终止轮数、损失函数、有效数据评价方法、分类权重、学习步长、最大深度、最小子节点权重、节点分裂所需的最小损失函数下降值、每棵树随机采样比例、每棵树随机采样特征量比例、权重的L1正则化项；3)使用训练集和验证集数据，采用xgboost算法训练Z-R关系模型；4)用测试集对预测模型的预报性能进行验证，分析预测正确率、预测准确率和召回率、PR曲线和AP性能评价指标，其中PR曲线的含义为准确率-召回率曲线，AP的含义为平均准确率；5)模型调参为了使xgboost回归模型表现最好，首先...

【专利技术属性】
技术研发人员：吴雪，
申请(专利权)人：南京恩瑞特实业有限公司，
类型：发明
国别省市：江苏,32