面向机动目标动态监测的天基遥感图像时空融合方法技术

本发明专利技术公开了一种面向机动目标动态监测的天基遥感图像时空融合方法，该方法包括：接收第一数据源采集的待测目标区域T时刻的低分辨率遥感图像，以及T时刻前后两个时刻的低分辨率遥感图像；当存在第二数据源时，同时接收第二数据源采集的同一目标区域T时刻前后两个时刻的高分辨率遥感图像；将上述五帧遥感图像输入预先建立和训练好的时空融合网络模型，得到T时刻的目标区域高分辨率预测图像；当不存在第二数据源时，将第一数据源采集的三帧遥感图像输入预先建立和训练好的简化时空融合网络模型，得到T时刻的目标区域高分辨率预测图像。本发明专利技术的方法能很好地恢复复杂场景中小尺度目标的细节结构信息以满足机动目标动态监测的需求。测的需求。测的需求。

【技术实现步骤摘要】
面向机动目标动态监测的天基遥感图像时空融合方法


[0001]本专利技术涉及图像处理
，特别是涉及一种面向机动目标动态监测的天基遥感图像时空融合方法。

技术介绍

[0002]全球地表、大气环境动态监测等领域应用需要高时间
‑
空间分辨率的卫星遥感影像作为数据支撑。然而，由于卫星传感器硬件技术条件、卫星发射成本等因素的限制，卫星传感器时间分辨率和空间分辨率之间存在矛盾，具有高空间分辨率(简称为高分辨率)遥感影像获取能力的卫星通常只能获取具有较低时间分辨率的影像，反之，具有高频率重访周期的卫星往往只具备低空间分辨率(简称为低分辨率)遥感影像获取能力。当前，获取同时具有高时间、高空间分辨率遥感影像的较为便捷高效、低成本的可行手段就是将分别具有高时间和高空间分辨率的多源遥感影像进行时空融合处理。多源遥感图像时空融合处理的核心思想就是通过对高空间
‑
低时间分辨率图像和高时间
‑
低空间分辨率图像进行处理来“预测”目标时刻的高空间分辨率图像，最终生成同时具有高空间与高时间分辨率特征的图像序列。
[0003]目前，国内外学者针对遥感图像时空融合方法开展了大量研究，根据算法原理的不同，方法主要可分为四大类：
[0004](1)基于变换的时空融合方法。该类方法主要基于PCA、Brovey、IHS、CN变换等图像变换方法实现全色与多光谱数据之间的融合。该类方法也称为传统数据融合方法，早期被提出应用于光谱空间融合领域。该类方法虽然取得了一些研究成果，但是其精度并不理想，而且也不能很好地解决混合像元问题，融合数据“图斑”现象较为明显，因此没有被广泛应用。
[0005](2)基于滤波的时空融合方法。该类方法主要通过引入邻域信息对高分辨率图像进行预测。Gao等人考虑了像元间时间、空间和光谱的差异，提出了一种时空自适应反射率融合模型(STARFM)用于融合Landsat图像和MODIS图像。STARFM方法在地表均质性较高的情况下，能够较为精确地预测高分辨率图像的反射率值；在地表异质度较高的情况下，预测精度会降低，且此方法难以预测地表突变的现象。为了提高STARFM方法在地表覆盖类型发生变化和产生突变时的预测精度，学者们提出了一系列改进方法，包括时空自适应融合方法(STAARCH)、时空自适应反射率融合模型(STARFM)、增强时空自适应反射率融合模型(ESTARFM)、时空非局部滤波融合模型(STNLFFM)、鲁棒性自适应时空图像融合模型(RASTFM)等，实验结果表明该类方法在捕捉地表变化时具有更高的准确度和鲁棒性。
[0006](3)基于解混的时空融合方法。该类方法假设在输入图像与预测图像之间没有发生地表覆盖变化，且需要一幅较优的高分辨率图像分类结果图或土地利用现状图作为辅助数据，以对低分辨率图像进行解混。Wu等人提出一种时空数据融合方法(STDFA)，该方法假设土地覆盖类型的时相变化属性是恒定的，通过对输入和预测日期的低分辨率图像进行端元分解进而对反射率的变化量进行估计，再叠加到高分辨率图像上得到最终预测结果。学
者们之后又提出了一系列改进方法，包括时空反射率解混模型(STRUM)、基于解混的STARFM(U
‑
STARFM)、基于解混的时空反射率融合模型(U
‑
STFM)等。
[0007](4)基于学习的时空融合方法。上述无论是基于滤波的还是基于混解的方法都假设高分辨率图像与低分辨率图像像元之间的关系是线性的。为了克服该局限性，Huang等人提出了一种基于稀疏表达的时空反射率融合模型(SPSTFM)，采用非线性的方式通过对两幅高分辨率图像和两幅低分辨率图像进行字典学习，分别对发生物候变化和地表覆盖类型变化的区域进行预测。
[0008]近年来，深度学习技术发展突飞猛进。深度学习网络中的卷积神经网络(CNN)的卷积层可以自动学习特征，把特征提取也归入学习过程中，将特征学习和网络优化有机结合起来，更快捷有效地对图像进行处理。Dong等人于2014/2016年将一个三层CNN引入到单帧图像的超分辨处理领域，提出了经典的超分辨率卷积神经网络
‑
SRCNN，开启了超分辨率处理的新篇章。与稀疏表达方法相比，SRCNN有结构轻量、各组件优化同步、速度快且准确率高等优点。自此之后，研究者们开展了大量基于CNN的单帧图像超分辨重建研究工作。
[0009]总之，当前基于深度学习的分辨率增强算法显示出一定处理大批量数据以及捕捉图像中地物细节结构特征的潜力，成为未来分辨率增强新的发展方向。然而，当前基于深度学习的分辨率增强研究主要是基于单帧自然图像的超分辨重建，却鲜有基于多帧遥感图像甚至是天基遥感图像的时空融合。目前典型的基于天基遥感图像的时空融合研究为Song等人于2018年构建的基于深度卷积网络的时空融合框架(STFDCNN)，该框架仅采用包含5个卷积层的神经网络，分两步从MODIS图像恢复Landsat图像，最后采用基于高通滤波模型的融合算法将网络学习的过渡图像与已知的前后两帧Landsat图像进行融合，得到预测的中间时刻Landsat图像。该方法仅将简单的5层CNN模型引入到低分辨率多源图像(250m分辨率的MODIS图像与30m分辨率的Landsat图像)时空融合问题中，并未优化CNN模型以更大程度地提升方法性能。
[0010]综上所述，目前基于深度学习的天基遥感图像时空融合方法研究匮乏，且主要针对低分辨率多源图像(MODIS图像与Landsat图像)引入简单的基础CNN模型，以满足地表农作物生长监测、洪水变化监测、土地覆盖变化监测等大尺度场景目标动态监测领域应用需要，不能很好的处理复杂场景中小尺度目标的细节结构信息恢复问题以满足重点区域机动目标动态监测需求。

技术实现思路

[0011]现有技术存在不能很好地恢复复杂场景天基遥感图像中小尺度目标的细节结构信息的缺陷，本专利技术的目的在于克服上述现有技术缺陷，提出了面向机动目标动态监测的天基遥感图像时空融合方法。
[0012]为了实现上述目的，本专利技术提出了面向机动目标动态监测的天基遥感图像时空融合方法，所述方法包括：
[0013]接收第一数据源采集的待测目标区域T时刻的低分辨率遥感图像，以及T时刻前后两个时刻的低分辨率遥感图像；
[0014]当存在第二数据源时，同时接收第二数据源采集的同一目标区域T时刻前后两个时刻的高分辨率遥感图像；将上述五帧遥感图像输入预先建立和训练好的时空融合网络模
型，得到T时刻的目标区域高分辨率预测图像；
[0015]所述时空融合网络模型，用于通过对多源图像进行非线性映射、结合对第二数据源的下采样，进行图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测；
[0016]当不存在第二数据源时，将第一数据源采集的三帧遥感图像输入预先建立和训练好的简化时空融合网络模型，得到T时刻的目标区域高分辨率预测图像；
[0017]所述简化时空融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向机动目标动态监测的天基遥感图像时空融合方法，所述方法包括：接收第一数据源采集的待测目标区域T时刻的低分辨率遥感图像，以及T时刻前后两个时刻的低分辨率遥感图像；当存在第二数据源时，同时接收第二数据源采集的同一目标区域T时刻前后两个时刻的高分辨率遥感图像；将上述五帧遥感图像输入预先建立和训练好的时空融合网络模型，得到T时刻的目标区域高分辨率预测图像；所述时空融合网络模型，用于通过对多源图像进行非线性映射、结合对第二数据源的下采样，进行图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测；当不存在第二数据源时，将第一数据源采集的三帧遥感图像输入预先建立和训练好的简化时空融合网络模型，得到T时刻的目标区域高分辨率预测图像；所述简化时空融合网络模型，用于通过对多源图像进行图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测。2.根据权利要求1所述的面向机动目标动态监测的天基遥感图像时空融合方法，其特征在于，所述时空融合网络模型的输入为目标时刻t的低分辨率图像L
t
、以及前后时刻t
‑
i和t+i的高
‑
低分辨率图像对{L
t
‑
i
,H
t
‑
i
}、{L
t+i
,H
t+i
}，输出为目标时刻t的高分辨率图像所述时空融合网络模型包括：多源图像非线性映射模块、高分辨率图像下采样模块、图像特征提取和对齐模块、图像特征融合模块、图像重构模块和上采样残差叠加模块；其中，所述多源图像非线性映射模块，用于将输入的t
‑
i、t和t+i时刻的低分辨率图像{L
t
‑
i
,L
t
,L
t+i
}进行非线性映射，生成对应时刻具有第二数据源特性的转换低分辨率图像所述高分辨率图像下采样模块，用于将输入的t
‑
i和t+i时刻的高分辨率图像{H
t
‑
i
,H
t+i
}进行下采样处理，得到对应时刻的下采样后的高分辨图像所述图像特征提取和对齐模块，用于将多源图像非线性映射模块和高分辨率图像下采样模块处理得到的前后时刻的高
‑
低分辨率图像对与目标时刻t的转换低分辨率图像依次进行图像特征提取，得到相应的图像特征并将前后时刻的高
‑
低分辨率图像的特征与目标时刻的低分辨率图像的特征依次进行对齐，得到相应的对齐图像特征所述图像特征融合模块，用于将5个对齐图像特征所述图像特征融合模块，用于将5个对齐图像特征进行融合处理，得到t目标时刻具有第二数据源特性的融合图像特征所述图像重构模块，用于将低分辨率融合图像特征进行图像重构，得到t目标时刻具有第二数据源特性的重构图像所述上采样残差叠加模块，用于将重构图像以及目标时刻t的转换低分辨率图像
分别进行四倍上采样，再相加，得到目标时刻t的高分辨率预测图像3.根据权利要求2所述的面向机动目标动态监测的天基遥感图像时空融合方法，其特征在于，所述多源图像非线性映射模块采用基础5层卷积神经网络模型，t
‑
i、t和t+i时刻具有高分辨率特性的转换低分辨率图像满足下式：满足下式：满足下式：其中，f1(
·
)为由5个卷积层组成的一般函数。4.根据权利要求3所述的面向机动目标动态监测的天基遥感图像时空融合方法，其特征在于，所述高分辨率图像下采样模块采用双三次样条下采样方法对输入的t
‑
i和t+i时刻的高分辨率图像{H
t
‑
i
,H
t+i
}进行下采样处理，得到对应时刻下采样后的高分辨图像满足下式：满足下式：其中，DownSamp...

【专利技术属性】
技术研发人员：陈红珍，卞春江，刘一腾，陈实，刘玉清，
申请(专利权)人：中国科学院国家空间科学中心，
类型：发明
国别省市：