基于多源数据与机器学习的地面观测蒸散发完整序列获取方法和系统技术方案

本发明专利技术涉及一种基于多源数据与机器学习的地面观测蒸散发完整序列获取方法和系统

【技术实现步骤摘要】
基于多源数据与机器学习的地面观测蒸散发完整序列获取方法和系统


[0001]本专利技术涉及地面通量观测数据处理
，具体为一种基于多源数据与机器学习的地面观测蒸散发完整序列获取方法和系统
。

技术介绍

[0002]蒸散发作为水循环和能量平衡的关键纽带，直接反映陆表与大气间水文过程的相互作用和反馈，对水资源管理与流域水文循环研究具有重要意义
。
近年来，研究人员开发出越来越多的遥感蒸散发模型和产品，这些模型和产品必须使用地面实测数据进行真实性检验才能够进行生态水文过程分析以及全球气候变化监测
。
涡动相关技术作为获取地面通量真值的有效手段，其观测的潜热通量
(
蒸散发的能量形式
)
被广泛应用于蒸散发遥感真实性检验的相关工作
。
然而，涡动观测数据在经过一系列的数据质量控制处理后，大量低质量的数据无法使用；同时由于电源与传感器故障
、
系统检修与校准以及不利的微气象条件等多种因素存在，造成了地面涡动观测数据的大量缺失
。
这导致：
1)
小时尺度数据缺失，使得日尺度蒸散发获取不准确，影响验证数据的可靠性；
2)
日尺度数据缺失，使得长时间观测数据不完整，影响基于地面真实台站观测的数据分析
。
因此需要对缺失数据进行合理的插补来获取完整序列的地面观测蒸散发
。
[0003]现有数据插补技术中，传统技术和机器学习技术是最主要的两种
。
传统技术
(
包括查找表
、
边际分布采样
、
平均日变化和非线性回归
)
出现的时间早，发展较为成熟，对于少量的数据缺失有着合理的插补效果，但无法处理长间隔的缺失
(
连续缺失7天及以上
)
，存在局限性；机器学习算法因其出色的时间序列建模能力得到了广泛的关注，在通量插补方面往往比传统方法表现更好，该技术的核心是通过建立与参考变量
(
光温湿压等
)
之间的关系来插补缺失的蒸散发
。
但机器学习技术在蒸散发完整序列获取的应用上存在明显的问题，主要表现在：现有技术通常使用地面配套的气象观测来获取参考变量，但参考变量数据集中也会和涡动观测一样受到外界的干扰，存在大量的数据缺失
。
我们称在涡动观测和参考数据中均存在数据缺失的问题为“双重不连续难题”，这使得我们无法得到完整的观测序列
。
因此，发展一种稳健的地面观测蒸散发完整序列获取方法至关重要
。

技术实现思路

[0004]为了克服上述问题，本专利技术提供了一种基于多源数据与机器学习的地面观测蒸散发完整序列获取方法和系统
。
该方法使用高分辨率的大气驱动数据以及卫星遥感数据作为参考变量的数据来源，以保证其时间连续性；使用机器学习算法建立蒸散发与参考变量间的非线性关系，从而构建稳健的机器学习模型，并评估模型表现；利用构建好的模型预测缺失时刻的蒸散发，与未缺失时刻的蒸散发数据合并形成连续的地面观测蒸散发完整序列，从而完成本专利技术
。
[0005]具体来讲，本专利技术解决其技术问题所采用的技术方案是：
[0006]一种基于多源数据与机器学习的地面观测蒸散发完整序列获取方法，包括以下步骤：
[0007]准备高质量蒸散发数据以及时间连续的参考变量；
[0008]训练机器学习模型，构建蒸散发与参考变量的非线性关系，并评估机器学习模型的表现；
[0009]使用训练完备的机器学习模型对缺失时刻的蒸散发进行插补，生成时间连续的蒸散发数据
。
[0010]进一步地，采用以下方式获得所述高质量蒸散发数据：
[0011]蒸散发由涡动观测得到
(
即潜热通量
)
，经质量控制剔除低质量的数据，同时筛选掉缺失的数据，得到未缺失时刻的高质量蒸散发，记为
ET。
[0012]进一步地，所述参考变量包括气象参考变量和植被参考变量，分别记为
M
RD
和
V
RD
。
其中气象参考变量依据
Penman
‑
Monteith
公式选取
。
选取高分辨率的大气驱动以及遥感卫星数据作为这些参考变量的数据来源
。
采用
Savitzky
‑
Golay
滤波法对遥感卫星数据时间序列进行平滑并处理为连续
。
使用最邻近像元法将这些参考变量从上述气象和遥感格点数据
(Savitzky
‑
Golay
滤波后的遥感数据和气象数据
)
中提取点尺度的完整时间序列，将其时间分辨率处理为与蒸散发观测的时间分辨率相同
。
其中格点是指栅格化的遥感和气象数据，点尺度是指台站所在位置的某个栅格
。
[0013]进一步地，将未缺失时刻的蒸散发和参考变量数据合并，并随机的分为两部分，形成训练集和测试集
。
[0014]进一步地，对于所述机器学习模型，选取机器学习算法并进行参数调整等操作，保证最佳运算结果与效率
。
使用训练集训练得到模型
。
最终，机器学习模型建立的非线性关系通过下式表示：
[0015]ET
＝
f
ML
(M
RD
,V
RD
)
[0016]其中，
f
ML
表示机器学习算法在蒸散发和参考变量间建立的一种非线性方程
。
[0017]进一步地，训练完成后，对测试集采用常用的模型评价指标评估所构建的机器学习模型的表现
。
[0018]进一步地，使用训练完备的机器学习模型和蒸散发缺失时刻的参考变量数据集预测缺失时刻的蒸散发，与未缺失时刻的地面观测合并成为连续的地面观测蒸散发完整序列
。
[0019]一种基于多源数据与机器学习的地面观测蒸散发完整序列获取系统，其包括：
[0020]数据准备模块，用于准备高质量蒸散发数据以及时间连续的参考变量；
[0021]模型构建与评价模块，用于训练机器学习模型，构建蒸散发与参考变量的非线性关系，并评估机器学习模型的表现；
[0022]连续蒸散发数据生成模块，用于使用训练完备的机器学习模型对缺失时刻的蒸散发进行插补，生成时间连续的蒸散发数据
。
[0023]与现有技术相比，本专利技术的有益效果在于：
[0024](1)
根据本专利技术提供的基于多源数据与机器学习的地面观测蒸散发完整序列获取方法，从数据来源出发，将大气驱动数据应用于通量数据的插补中，作为参考变量的数据来源之一，可以轻松简便的获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多源数据与机器学习的地面观测蒸散发完整序列获取方法，其特征在于，包括以下步骤：准备高质量蒸散发数据以及时间连续的参考变量；训练机器学习模型，构建蒸散发与参考变量的非线性关系，并评估机器学习模型的表现；使用训练完备的机器学习模型对缺失时刻的蒸散发进行插补，生产时间连续的蒸散发数据
。2.
根据权利要求1所述的方法，其特征在于，所述蒸散发数据由涡动观测得到，经质量控制剔除低质量的数据，同时筛选掉缺失的数据，得到未缺失时刻的高质量蒸散发
。3.
根据权利要求1所述的方法，其特征在于，所述参考变量包括气象参考变量和植被参考变量；所述气象参考变量依据
Penman
‑
Monteith
公式选取，选取高分辨率的大气驱动以及遥感卫星数据作为参考变量的数据来源，采用
Savitzky
‑
Golay
滤波法对遥感卫星数据时间序列进行平滑并处理为连续，使用最邻近像元法将参考变量从滤波后的遥感数据和气象数据中提取点尺度的完整时间序列，将其时间分辨率处理为与蒸散发观测的时间分辨率相同
。4.
根据权利要求1所述的方法，其特征在于，将未缺失时刻的蒸散发和参考变量数据合并，并随机的分为两部分，形成训练集和测试集
。5.
根据权利要求1所述的方法，其特征在于，使用训练集训练所述机器学习模型，选取机器学习算法并进行参数调整操作，保证最佳运算结果与效率；所述机器学习模型建立的非线性关系通过下式表示：
ET
＝
f
ML
(M
RD
，
...

【专利技术属性】
技术研发人员：崔要奎，李王轶朴，蒋波，
申请(专利权)人：伟志股份公司，
类型：发明
国别省市：