基于混合卷积网络遥感图像时空融合方法技术

本发明专利技术公开了一种基于混合卷积网络遥感图像时空融合方法，将三张多波段遥感图像输入网络模型中，在模型中对三张多波段图像进行拆分，将其拆分为单波段图像。随后根据遥感图像时空融合任务的特点，按照一定的波段组合及排列顺序把单波段图像送入双分支网络进行特征提取并完成单波段特征提取及单波段图像重建。2D

【技术实现步骤摘要】
附近选取，时间跨度不宜过大，这样预测的LST1图像既包含MODIS图像的时间变化信息又包括Landsat图像细节纹理信息，即高时空分辨率图像。以上过程可以抽象为建立目标图像与所观测到的图像之间的映射关系，此映射关系可以通过以下公式表示出来：
[0007][0008]公式(1)中的参数θ表示一组可学习参数，通过训练时空融合模型可以学习这些参数，使其建立非线性映射去逼近实际函数如果条件允许的话，k可以取多组值(即可以参考多组遥感图像对)以提高预测精度，但在本专利技术中我们考虑到在多云地区由于云雾遮挡，可用的遥感图像对数据获取较为困难，所以我们提出的HCNNet仅使用预测时刻附近的一对参考图像来对预测日期图像进行预测。在本专利技术中选用一对参考图像，k＝0。
[0009]目前在基于加权函数的方法中，Gao等人提出了自适应遥感图像时空融合模型(STARFM)。STARFM是基于加权的融合模型中影响最大、运用最广的时空数据融合模型。STARFM模型假设反射率的变化在同一时刻，同一地理范围的低分辨率图像和高分辨率图像中是一致的，低分辨率图像中的像素是“纯”像元，即一个低分辨像元仅包括一种土地覆盖类型。在这种情况下，从低分辨率像素衍生的变化可以直接线性地添加到高分辨率图像中的像素来进行预测。然而，现实往往是不同土地覆盖类型的物体相混合，得到是混合像元，无法满足单个像元是“纯像元”的这种理想情况。为了解决这个问题，STARFM模型使用一个函数预测像素，该函数基于相邻高分辨像素的光谱差异，时间差异和位置信息为低分辨率像素赋予权重。STARFM的预测性能会受到陆地景观斑块大小的影响。后来针对更复杂的情况对STARFM进行了修改和改进，产生了映射反射变化的时空自适应算法(STAARCH)，该算法在存在土地覆盖类型变化和干扰时提高了STARFM模型的性能。增强型STARFM(ESTARFM)，也提高了STARFM在非均质区域预测的准确性。
[0010]基于地物光谱在高—低空间分辨率影像上的时间一致性理论，空间像元分解算法被广泛应用于时空遥感影像融合。该类方法基于线性光谱混合模型，通过从高分辨率数据中提取地物类别和丰度来分解低分辨率的像元获得类别的光谱值，最终实现对未知时相高空间分辨率影像的像元重构。基于空间像元分解的时空融合方法最早由Zhukov等(1999)提出，该方法基于同类地物临近像元反射率的空间相似性假设，进行低空间分辨率影像像元反射率的线性解混。进一步地，考虑局部范围内像元反射率的空间差异性问题，距离权重与光谱相似性因子等被引入提高局部范围内像元反射率预测精度。该类方法因其算法原理易懂，可操作性强，计算量小等优势得到广泛的应用，但其理论上基于低空间分辨率影像单个像元内部各类占比在不同时相不发生改变的假设，因此，对于地物类型发生改变的区域，像元反射率预测结果不可靠。
[0011]组合性的时空融合方法通过集成上述不同类型融合算法的优势，较好地提高了遥感影像融合效果，具有更广泛的应用前景。Zhu等(2016)提出的FSDAF(Flexible Spatiotemporal DAta Fusion)算法组合了基于空间像元分解与时空变化滤波两类算法思想，并引入了空间插值技术识别地物类型变化，显著提高了对于异质性地表覆盖及地物类型变化的融合效果。进一步地，基于FSDAF改进的算法也相继被提出，不同程度提高了融合影像的精度。
[0012]基于学习的方法通过学习Landsat和MODIS图像之间的映射关系来建立关联模型。
基于稀疏表示的时空反射融合模型(spatiotemporal satellite image fusion through one
‑
pair image learning，SPSTFM)是首个基于学习的时空融合方法。Song等人(2018)提出了基于卷积神经网络(convolutional neural network，CNN)的融合方法。该方法首先学习MODIS与降采样的Landsat图像之间的非线性映射模型，然后学习降采样的Landsat图像与原始Landsat图像之间的超分辨率模型。由于MODIS与Landsat图像之间的映射涉及更加复杂的非线性转换，基于学习的方法与其他传统方法相比性能更优。Tan等人(2018)提出的深卷积时空融合网络(DCSTFN)，输入的是一对用于参考的LTHS和HTLS图像，以及另一对用于预测的HTLS图像。信息以提取的特征图的形式进行合并，然后将合并后的特征重建为预测图像。Liu等人(2019)利用高分辨率图像序列中的时间信息，并用一个称为StfNet的双流卷积神经网络来解决时空融合问题。Tan等人(2019提出了一种增强的深卷积模型(EDCSTFN)，该模型侧重于在参考时间使用两对低分辨图像和高分辨率图像在预测时间重建高分辨率图像。Li等人(2020)提出了一种新的基于卷积神经网络的时空融合方法AMNet，在其中加入了注意力机制和多尺度机制。与以往的时空融合方法不同，将中分辨率成像光谱仪(MODIS)图像两次相减得到的残差图像直接用于网络训练，并采用多尺度机制和注意机制两种特殊结构提高融合精度。Li等人(2021)提出了一种用于时空卫星图像融合的协同合作的深度卷积神经网络MCDNet，该方法是一种新的多网络模型，其中多个网络共同工作来重建预测图像，多网络模型由超分辨率网络、差分重构网络和协作训练网络组成，其将一种新的多尺度机制与扩展卷积相结合，充分利用低分辨图像的光谱信息，并将其升级为与细图像匹配的过渡图像，差分重建网络利用结构相关性完成精细差分图像的重建。
[0013]STARFM模型可以精确地反演物候变化，但其性能取决于陆地表面景观的特征斑块大小，当反演分布极不均匀的陆地景观时，性能会有所下降。基于FSDAF理论发展的算法仍然存在两点主要问题：(1)由于输入包含类型变化信息和大量边界信息的低分辨率像元进行分解计算，FSDAF容易丢失空间细节并预测“更模糊”的图像。(2)FSDAF不能准确反演土地覆盖变化区域。由于卷积神经网络(CNN)具有很强的表示能力，近年来自然图像SR的性能有了很大的提高。时空图像融合与自然图像超分辨率相比是一项不同的任务，在时空融合中，放大因子(通常在8到16之间)比超分辨率(通常在2到4之间)大得多。Li等人(2021)针对应用性最广的单对图像时空融合，使用深层神经网络建立了一种新的时空融合方法，基本网络框架由两个4倍上采样器级联以近似LandSat和MODIS之间的空间差异和传感器差异，并将重建结果进行残差修正，使得该结果更接近真实图像。基于CNN的时空融合方法能够以端到端的方式自适应学习从MODIS到Landsat数据的非线性映射，但是MODIS与Landsat数据之间复杂的映射关系导致丢失大量空间细节信息。在时空融合中，选择合适的HSLT参考图像至关重要，所有精细的空间纹理特征都来自于参考时刻高分辨图像，因此，预测必然会受到参考图像的影响，导致融合结果在一定程度上与参考图像相似。在参考和预测期间，如果地面发生重大变化，预测结果可能会与真实图像相差很大。这些问题应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于混合卷积网络遥感图像时空融合方法，其特征在于，包括以下步骤：(1)对遥感图像数据集中的图像进行预处理；(2)将处理后的图像输入网络，对输入的多波段图像进行裁剪和拆分，将其拆分为单波段160
×
160图像；(3)将拆分后的LST0各单波段图像馈入2D
‑
CNN提取空间特征；(4)将拆分后的t0时刻Modis图像MDS0，t1时刻Modis图像MDS1和t0时刻Landsat图像LST0的单波段图像一同输入到3D
‑
CNN以同时提取空间和时间特征，通过时空融合模块将双分支分别提取到的特征进行融合；(5)将之前波段中学习到的空间及光谱特征融入下一波段，通过光谱空间特征融合，重建相邻单波段特征以及单波段图像；(6)将重建完成的各波段图像通过concat模块联合起来得到LST1预测图像。2.根据权利要求1所述基于混合卷积网络遥感图像时空融合方法，其特征在于：步骤(1)所述预处理包括对图像进行裁剪。3.根据权利要求1所述基于混合卷积网络遥感图像时空融合方法，其特征在于：所述步骤(3)及所述步骤(4)进行时间空间特征提取后利用时空特征融合模块完成单波段特征重建，通过二维卷积完成第一波段图像重建。4.根据...

【专利技术属性】
技术研发人员：陶于祥，朱壮山，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：