基于极端随机树的FY-3D红外高光谱云检测方法技术

本发明专利技术公开一种基于极端随机树的FY

【技术实现步骤摘要】
基于极端随机树的FY-3D红外高光谱云检测方法


[0001]本专利技术涉及卫星遥感
，尤其涉及一种机器学习领域的基于决策树的集成学习方法—极端随机树算法，结合利用FY-3D卫星HIRAS仪器的红外高光谱数据进行HIRAS视场云检测的方法。

技术介绍

[0002]红外高光谱数据是现代数值天气预报系统重要的观测数据，同化红外高光谱数据近模式系统，能有效地提升预报水平。云中的水滴和冰晶能有效吸收红外辐射，导致卫星的红外探测仪无法检测到云层以下的大气和地表的红外辐射。此外，当前的辐射传输观测算子很难准确地模拟云的辐射效应。因此，云的污染是红外高光谱数据同化的重要问题。当前的解决办法是在红外高光谱数据进入同化系统之前，先剔除被云污染的像元。判断像元视场是否有云的过程，称为云检测。因此，准确快速地对红外高光谱数据进行云检测，是有效应用卫星红外高光谱数据的前提。同样FY-3D的HIRAS数据进入同化系统之前，也需要进行云检测处理。
[0003]当前，基于云的物理特征提出的多通道阈值方法，应用于大多数业务卫星红外探测仪上，但是许多云检测带有多个阈值，很难设置合适的阈值；还有一种广泛应用的方法是基于成像仪的云检测方法，虽然该方法显著提升了高光谱红外探测的云检测准确度，但是该方法需要较高的内存成本和计算时间成本。
[0004]随着人工智能时代的到来，使用人工智能技术做云检测的算法也随之提出。有人使用卫星云图作为经典图像分类网络的输入，通过对网络微调构建神经网络云检测模型，取得较高精度的云检测结果。但是红外探测仪的有几百个通道，不同通道数据对于不同高度敏感。不知道云出现在哪个高度，如何选择合适的通道云图将是个重要的问题。
[0005]因此，如何提供一种精度高且计算成本低的新型云检测方法是本领域技术人员极为关注的技术问题。

技术实现思路

[0006]本专利技术的目的在于提供了一种基于极端随机树可快速准确地实现FY-3D红外高光谱数据云检测算法。
[0007]为了解决上述技术问题，本专利技术使用中国风云系列极轨卫星FY-3D上搭载的红外高光谱大气探测仪（HIRAS）和中分辨率光谱成像仪（MERSI）对地球的连续观测数据。首先将HIRAS数据文件和MERSI数据文件进行时间匹配，保证两个仪器几乎同时对一个地区进行观测，然后将两种仪器的像元进行空间匹配，找出每个HIRAS像元能覆盖的MERSI像元，在通过匹配的MERSI像元的云标签确定HIRAS像元的云标签，如此可以得到带有云标签的HIRAS数据，构成极端随机树模型的训练数据集。然后使用极端随机树算法训练数据集，让其学习到HIRAS长波通道数据与视场是否有云的非线性映射关系，并用测试数据集检验模型的性能。最后将训练得到云检测性能较好的极端随机树模型用于YF-3D的红外高光谱数据的云检测
处理。
[0008]本专利技术提供的一种基于极端随机树的FY-3D红外高光谱云检测方法，包括以下具体步骤：S1.构建HIRAS与MERSI数据匹配模型．时间匹配：当HIRAS和MERSI的观测时间满足以下公式时，则可认为HIRAS和MERSI仪器同时对相同区域进行了观测，其中，表示HIRAS的观测时间，表示MERSI的观测时间，为匹配时间阈值，一般不超过59s。
[0009]．空间匹配：遍历每个HIRAS像元，基于球面距离找到该驻留点所覆盖的MERSI像元，当MERSI像元中心经纬度与HIRAS像元中心经纬度满足以下距离公式时，则可认为HIRAS与MERSI数据空间匹配，匹配，其中，是MERSI像元与HIRAS像元之间的距离，是HIRAS像元中心的纬度，是MERSI像元中心的纬度，是HIRAS像元中心的经度，是MERSI中心像元的经度，R是地球半径；是HIRAS的匹配半径，设置为9KM。
[0010]．确定HIRAS像元云标签：根据每个HIRAS像元匹配到的MERSI像元的云掩码数据，确定每个HIRAS视场的云标签。
[0011]S2.生成训练数据集和测试数据集将上述确定的带有云标签的HIRAS像元样本，根据其海陆位置，分别构建海洋数据集和陆地数据集，然后分别训练海洋云检测模型和陆地云检测模型，进而生成海洋和陆地训练数据集，并将海洋数据集和陆地数据集种的30%作为测试数据集；S3.训练极端随机树云检测模型将上述得到的海洋数据集和陆地数据集，采用机器学习分类算法分别训练海洋和陆地云检测模型，并通过使用机器学习算法中的网格搜索方法，选择合适的超参数，得到泛化性能较好的海洋和陆地极端随机树云检测模型；S4.使用不同天气实例来做云检测测试1）构造训练海洋和陆地数据集以外的测试数据集，包括不同训练区域和时间的数据，将原始HIRAS和MERSI数据通过步骤S1生成带标签的测试数据集，带入训练好的陆地、海洋云检测模型做分类，计算出有云、晴空类别的准确度、召回率和AUC值，验证模型的性能；2）选择训练数据集之外的天气实例数据做验证数据集；3）将预报结果可视化，并与相同时刻的卫星的真彩云图做比较，检验极端随机树云检测模型的预报准确性。
[0012]进一步的，所述步骤S1中所述HIRAS与MERSI仪器都在同一个卫星平台，且MERSI仪器的观测范围覆盖了HIRAS仪器的观测范围。
[0013]进一步的，所述MERSI探元阵列的扫描范围为
±
55.1
°±1°
，所述HIRAS探元阵列的扫描范围为
±
50.4
°
。
[0014]进一步的，所述步骤S1的（3）中所述HIRAS视场的云标签的确定：当匹配的MERSI像元95%以上都是晴空时，则认为该HIRAS像元为晴空；当匹配的MERSI像元95%以上都是云时，则认为该HIRAS像元为云；当匹配的MERSI像元数量较小或者可能云、可能晴空、未确定的像元比率较大时，将该HIRAS像元的云标签设为未确定，则该未确定的HIRAS像元的云标签需要从样本中剔除。
[0015]进一步的，所述步骤S3中所述机器学习分类算法为集成学习中的极端随机数算法，所述极端随机数算法的原理为：采用原始训练集，在选择划分决策树的特征值时，随机选择划分特征值，生成规模较大的决策树。
[0016]进一步的，所述步骤S4的1）中所述陆地云检测模型的性能为：在5232个测试样本中预测准确度可达0.98，完全云类别的召回率可达0.98，AUC值可达0.99。所述步骤S4的1）中所述海洋云检测模型的性能为：在3648个测试样本中预测准确度可达0.97，完全云类别的召回率可达0.97，AUC值可达0.98。
[0017]进一步的，所述步骤S4的2）中所述验证数据集的生成是经过HIRAS像元的海陆标识划分为海洋样本和陆地样本，并将通道数据处理成海洋和陆地云检测模型输入的形式。
[0018]进一步的，所述步骤S4的2）中所述预报结果是通过海洋和陆地云检测模型来预报HIRAS像元的云标签。
[0019]本专利技术取得了以下有益效果：1、本专利技术的基于极端随机树的FY-本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于极端随机树的FY-3D红外高光谱云检测方法，其特征在于，包括以下具体步骤：S1.构建HIRAS与MERSI数据匹配模型．时间匹配：当HIRAS和MERSI的观测时间满足以下公式时，则可认为HIRAS和MERSI仪器同时对相同区域进行了观测，其中，表示HIRAS的观测时间，表示MERSI的观测时间，为匹配时间阈值，一般不超过59s；．空间匹配：遍历每个HIRAS像元，基于球面距离找到该驻留点所覆盖的MERSI像元，当MERSI像元中心经纬度与HIRAS像元中心经纬度满足以下距离公式时，则可认为HIRAS与MERSI数据空间匹配，匹配，其中，是MERSI像元与HIRAS像元之间的距离，是HIRAS像元中心的纬度，是MERSI像元中心的纬度，是HIRAS像元中心的经度，是MERSI中心像元的经度,R是地球半径；是HIRAS的匹配半径，设置为9KM；．确定HIRAS像元云标签：根据每个HIRAS像元匹配到的MERSI像元的云掩码数据，确定每个HIRAS视场的云标签；S2.生成训练数据集和测试数据集将上述确定的带有云标签的HIRAS像元样本，根据其海陆位置，分别构建海洋数据集和陆地数据集，然后分别训练海洋云检测模型和陆地云检测模型，进而生成海洋和陆地训练数据集，并将海洋数据集和陆地数据集种的30%作为测试数据集；S3.训练极端随机树云检测模型将上述得到的海洋数据集和陆地数据集，采用机器学习分类算法分别训练海洋和陆地云检测模型，并通过使用机器学习算法中的网格搜索方法，选择合适的超参数，得到泛化性能较好的海洋和陆地极端随机树云检测模型；S4.使用不同天气实例来做云检测测试1）构造训练海洋和陆地数据集以外的测试数据集，包括不同训练区域和时间的数据，将原始HIRAS和MERSI数据通过步骤S1生成带标签的测试数据集，带入训练好的陆地、海洋云检测模型做分类，计算出有云、晴空类别的准确度、召回率和AUC值，验证模型的性能；2）选择训练数据集之外的天气实例数据做验证数据集；3）将预报结果可视化，并与相同时刻的卫星的真彩云图做比较，检验极端随机树云检测模型的预报准确性。2.根据权利要求1所述的基于极端随机树的FY-3D红外高光谱云检测方法，其特征在
于，所述步骤S1中所述HIRAS与MERSI仪器都在同一个卫星平台，...

【专利技术属性】
技术研发人员：史华湘，余意，张卫民，罗藤灵，张琪，银福康，马烁，段博恒，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：