基于深度学习的光学遥感时间序列影像重建方法及系统技术方案

本发明专利技术公开了遥感影像技术领域的一种基于深度学习的光学遥感时间序列影像重建方法及系统，能够对光学遥感影像上由于云层及其阴影的遮挡而导致的数据缺失进行准确重建。包括：对光学遥感影像序列进行预处理；目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，得到像元时间序列并进行非监督聚类，生成多个聚类区域；分别构建每个聚类区域的前后向循环神经网络预测模型For‑backward LSTM，并将每个聚类区域的像元时间序列分别划分为预测模型的训练样本集和预测样本集；训练预测模型并以预测样本集输入对应训练后的预测模型分别获得各聚类区域的预测数据；将各预测数据与对应的非掩模区域合并，生成多时相遥感影像的重建序列。

【技术实现步骤摘要】
基于深度学习的光学遥感时间序列影像重建方法及系统
本专利技术属于遥感影像时间序列数据处理与重建
，具体涉及一种基于深度学习的光学遥感时间序列影像重建方法及系统。
技术介绍
作为强大的监测地球表面工具，遥感影像已经广泛应用于水资源调查、国土优化管理、城市化监测和农业生产与管理等领域。同单一时相的遥感影像相比，多时相影像能够进一步展示地表的动态变化和揭示地物的演化规律。然而由于受气象成像条件的影响，卫星光学传感器获取的遥感影像往往被云层及其阴影覆盖(特别是在多云多雨地区，如我国西南地区)。在这些光学遥感影像上，由于云层及其阴影的遮挡而难以获取真实的地面信息；这严重限制了光学遥感影像的应用。特别是对于多时相影像的遥感应用(如森林退化、作物生长、城市扩张和湿地流失等监测)，云层及其阴影(以下简称为云/影)所导致的数据缺失将延长影像获取的时间间隔、造成时序间隔不规则的问题，加大后续时间序列处理与分析的难度。
技术实现思路
为解决现有技术中的不足，本专利技术提供一种基于深度学习的光学遥感时间序列影像重建方法及系统，能够对光学遥感影像上由于云层及其阴影的遮挡而导致的数据缺失进行准确重建。为达到上述目的，本专利技术所采用的技术方案是：一种基于深度学习的光学遥感时间序列影像重建方法，包括：对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；在预处理影像序列的每一景影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；对像元时间序列进行非监督聚类，生成多个聚类区域；以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backwardLSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backwardLSTM的训练样本集和预测样本集；分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backwardLSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backwardLSTM分别获得各聚类区域的预测数据；将各聚类区域的预测数据与对应的非掩模区域合并，生成多时相遥感影像的重建序列。进一步地，所述预处理包括对光学遥感影像序列进行几何配准、像元对齐和公共区域裁剪。进一步地，所述掩模值取像元值域范围外的数值。进一步地，以循环神经网络LSTM为编码核心构建自动编码网络Autoencoder，对像元时间序列进行非监督聚类，具体包括：编码处理，将像元时间序列TS经由掩膜层后输入到层叠LSTM网络，生成时间序列的隐含的高层次特征z；解码处理，将隐含特征z输入到另一个层叠LSTM网络，在重建损失Lr最小的约束下还原输入的时间序列TS；聚类处理，将隐含特征z输入到一个聚类层，并在聚类损失Lc最小的约束下计算特征z的聚类概率；最后综合重建损失Lr与聚类损失Lc得到复合损失L，用于进行联合训练，实现对像元时间序列的非监督聚类。进一步地，所述复合损失L为：L＝Lr+αLc(3)其中，α≥0是用于平衡重建损失和聚类损失的系数。进一步地，所述聚类损失Lc为P与Q两个分布之间的KL散度，其中Q为t分布测定的软标签分布，P为衍生于Q的目标分布：其中，pij是目标分布，qij是由t分布测定的隐含特征z与聚类中心μ之间的相似程度。进一步地，重建损失Lr由均方误差表示：其中，f和g分别为编码器和解码器的映射函数，n为聚类个数。进一步地，所述根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backwardLSTM的训练样本集和预测样本集，具体为：若时序值不等于掩模值，则将该像元时间序列划分为对应聚类区域的前后向循环神经网络预测模型For-backwardLSTM的训练样本集；若时序值等于掩模值，则将该像元时间序列划分为对应聚类区域的前后向循环神经网络预测模型For-backwardLSTM的预测样本集。一种基于深度学习的光学遥感时间序列影像重建系统，包括：第一模块，用于对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；第二模块，用于在预处理影像序列的每一景影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；第三模块，用于对像元时间序列进行非监督聚类，生成多个聚类区域；第四模块，用于以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backwardLSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backwardLSTM的训练样本集和预测样本集；第五模块，用于分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backwardLSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backwardLSTM分别获得各聚类区域的预测数据；第六模块，用于将各聚类区域的预测数据与对应的非掩模区域合并，生成多时相遥感影像的重建序列。与现有技术相比，本专利技术所达到的有益效果：本专利技术通过引入掩膜技术来解决时序分析中间隔不等与时相不对其的问题，进而利用(前后向)LSTM循环神经网络提取时间序列的深层次的长时间依赖时序特征，提高时间序列修复的精度；实现对光学遥感影像上由于云层及其阴影的遮挡而导致的数据缺失进行准确重建。附图说明图1是本专利技术实施例提供的基于深度学习的光学遥感时间序列影像重建的主要流程框图；图2是本专利技术实施例提供的基于深度学习的光学遥感时间序列影像重建的详细实现流程图；图3是以LSTM为编码核心的自动编码网络LSTM-AE的非监督聚类的流程图；图4是像元时间序列训练与预测样本集的划分示意图；图5是前后向LSTM网络预测时间序列缺失值的流程图；图6是采用本实施所述方法对某地Landsat影像时间序列修复的效果示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术的思路为：首先对实验区的光学遥感时间序列影像进行预处理，并目视绘制每一景影像的云/影掩膜，构建每个像元含有缺失值的时间序列曲线；然后利用以循环神经网络为编码核心的自动编码网络对时间序列像元进行非监督聚类，生成多个相似的影像区域；接着对每个聚类影像区域和缺失时相，构建前后向循环神经网络模型，并预测像元时间序列中的缺失值；最后将每一景影像中云/影区域的预测值与无云/影像区域进行合并，重建实验区的时间序列影像。实施例一：一种基于深度学习的光学遥感时间序列影像重建方法，包括：对给定区域的光本文档来自技高网...

【技术保护点】
1.一种基于深度学习的光学遥感时间序列影像重建方法，其特征是，包括：/n对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；/n在预处理影像序列的每一景影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；/n对像元时间序列进行非监督聚类，生成多个聚类区域；/n以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集；/n分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backward LSTM分别获得各聚类区域的预测数据；/n将各聚类区域的预测数据与对应的非掩模区域合并，生成多时相遥感影像的重建序列。/n

【技术特征摘要】
1.一种基于深度学习的光学遥感时间序列影像重建方法，其特征是，包括：
对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；
在预处理影像序列的每一景影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；
对像元时间序列进行非监督聚类，生成多个聚类区域；
以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backwardLSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backwardLSTM的训练样本集和预测样本集；
分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backwardLSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backwardLSTM分别获得各聚类区域的预测数据；
将各聚类区域的预测数据与对应的非掩模区域合并，生成多时相遥感影像的重建序列。


2.根据权利要求1所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，所述预处理包括对光学遥感影像序列进行几何配准、像元对齐和公共区域裁剪。


3.根据权利要求1所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，所述掩模值取像元值域范围外的数值。


4.根据权利要求1所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，以循环神经网络LSTM为编码核心构建自动编码网络Autoencoder，对像元时间序列进行非监督聚类，具体包括：
编码处理，将像元时间序列TS经由掩膜层后输入到层叠LSTM网络，生成时间序列的隐含的高层次特征z；解码处理，将隐含特征z输入到另一个层叠LSTM网络，在重建损失Lr最小的约束下还原输入的时间序列TS；聚类处理，将隐含特征z输入到一个聚类层，并在聚类损失Lc最小的约束下计算特征z的聚类概率；最后综合重建损失Lr与聚类损失Lc得到复合损失L，用于进行联合训练，实现对像元时间序列的非监督聚类。


5.根据权利要求4所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，所述复合损失L为：
L＝Lr+αLc(3)
其中，α≥0是用于平衡重建损失和聚类损失的系数。


6...

【专利技术属性】
技术研发人员：周亚男，杨先增，杨丹，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32