基于多尺度机制和串联膨胀卷积遥感图像时空融合方法技术

本发明专利技术请求保护一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，包括步骤：S1将三张高时间、低空间分辨率的图像输入映射网络中，通过映射卷积网络中的多尺度感知和串联膨胀卷积提取特征，获得与高空间、低时间分辨率的图像具有相似分辨率的三张过渡图像；S2将过渡图像与高空间、低时间分辨率的图像一起输入到重建差分图像中，通过多网络的协同训练，获得两张高空间、低时间分辨率的差分图像；S3将两张差分图像与两张高空间、低时间分辨率的图像进行加权融合，重建得到一张高空间、高时间分辨率的图像。本发明专利技术在提高遥感图像时空算法的准确率的同时，解决了传统遥感时空算法存在的重建融合结果高频空间细节与光谱信息融合不准确的问题。融合不准确的问题。融合不准确的问题。

【技术实现步骤摘要】
基于多尺度机制和串联膨胀卷积遥感图像时空融合方法


[0001]本专利技术属于图像处理
，特别涉及基于多网络协同训练的多尺度机制和串联膨胀卷积遥感图像时空融合方法。

技术介绍

[0002]遥感图像的时空融合算法属于遥感图像融合领域，在农田监测、灾害预测等方向有着广泛应用。遥感图像的时空融合是为了解决遥感图像在时间和空间分辨率上的矛盾，通过时空融合，我们可以得到高时间和高空间分辨率的遥感图像。现存的遥感图像时空融合算法可以分为五大类，分别为基于加权函数的算法(Weight function
‑
based)、基于贝叶斯的算法(Bayesian
‑
based)、基于解混的算法(Unmixing
‑
based)、混合算法(Hybrid)和基于学习的算法(Learning
‑
based)。
[0003]时空自适应反射融合模型(Spatial and Temporal Adaptive Reflectance Fusionmodel,STARFM)是最具代表性的基于加权函数的算法，后续许多的时空融合算法都是基于STARFM提出。随后基于贝叶斯和解混的算法也逐渐多样化，除了使用单一种类的算法，有一些方法使用了混合算法，例如柔性时空数据融合 (Flexible Spatiotemporal Data Fusion,FSDAF)。近年来，基于学习的算法蓬勃发展，其进一步可分为基于字典对学习的时空融合算法和基于机器学习的时空融合算法。基于稀疏表示的时空融合模型(Sparse
‑
representation
‑
basedSpatioTemporal reflectance Fusion Model,SPSTFM)开创了基于字典对学习的时空融合算法的先河，它对异质性较高的区域有较好的处理能力。基于卷积神经网络的时空融合算法(Spatiotemporal Fusion using Deep Convolutional NeuralNetworks,STFDCNN)进一步提升了融合精度，其证明了卷积神经网络在时空融合领域的可应用性，随后基于卷积神经网络的时空融合方法层出不穷。
[0004]虽然现存时空融合方法多种多样，但是依然存在很多问题，例如：在异质性较高的区域，算法的融合精度并不高；基于卷积神经网络的算法得到的融合图像通常过于平滑；光谱信息的保留效果不佳。多尺度机制以及串联膨胀卷积机制常用于视频帧超分辨率领域，很少有时空融合方法引用。多尺度机制可以从多个尺度感知特征图，充分提取特征信息，有助于解决常见时空融合方法光谱信息保留效果不佳的问题；串联膨胀卷积机制可以提取特征图的边缘信息，有助于解决常见时空融合方法融合图像过于平滑，空间细节丢失严重的问题。现有的时空融合算法没有使用过多网络协同训练的机制，在多网络模型中，网络训练效果受到多个网络输出结果的影响，可能会导致网络收敛效果不佳，本方法创新性地引入了多网络协同训练机制，促使网络能够更快收敛。

技术实现思路

[0005]本专利技术旨在解决以上现有技术的问题。提出了一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法。本专利技术的技术方案如下：
[0006]一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，其包括以下步骤：
[0007]S1、将三张高时间、低空间分辨率的图像C
i
输入映射卷积网络中，i＝1，2， 3，通过映射卷积网络中的多尺度感知和串联膨胀卷积提取特征，获得与高空间、低时间分辨率的图像具有相似分辨率的三张过渡图像；
[0008]S2、将过渡图像与高空间、低时间分辨率的图像一起输入到重建差分图像中，通过多网络的协同训练，获得两张高空间、低时间分辨率的差分图像；
[0009]S3、将两张高空间分辨率差分图像与两张高空间、低时间分辨率的图像进行加权融合，重建得到一张高空间、高时间分辨率的图像F1。
[0010]进一步的，所述步骤S1的映射卷积网络由卷积层、多尺度感知模块、串联膨胀卷积模块构成，多尺度感知模块用于对输入的特征图进行多个尺度的分别感知，再叠加为新的多维特征图；串联膨胀卷积模块通过扩大卷积层感受野可以提取图像更丰富的特征信息，得到过渡分辨率的图像的过程为：
[0011][0012]其中T
i
表示过渡分辨率的图像，M0表示映射卷积网络的映射函数，Φ0表示该映射函数的训练权重参数。
[0013]进一步的，所述步骤S1具体包括以下子步骤，
[0014]S1.1、将输入的三个时刻的高时间、低空间分辨率图像放入多尺度感知模块中，得到它们多尺度感知下的特征图；
[0015]S1.2、将多尺度感知的特征图输入到串联膨胀卷积中得到降维特征图；
[0016]S1.3、分别将三张低空间分辨率的图像得到的降维特征图通过卷积操作转化为三张过渡分辨率的图像T
i
(i＝1，2，3)。
[0017]进一步的，所述步骤S2的重建差分卷积网络和协同训练卷积网络分别由八层基础卷积层和六层基础卷积层构成，其中重建差分卷积网络的任务更加复杂，所以网络设置也比协同训练卷积网络多两层基础卷积层。通过协同训练卷积网络的输出根据时间相关性帮助重建差分卷积网络完成训练，输出两张高空间分辨率差分图像F
T01
和F
T12
，其过程为：
[0018]T
ij
＝T
i
‑
T
j
，
[0019][0020][0021]其中T
ij
表示第i时刻过渡分辨率图像T
i
与第j时刻过渡分辨率图像T
j
之间的差分图像，F0和F2分别表示第0时刻和第2时刻的高空间、低时间分辨率图像，M1表示重建查封卷积网络的映射函数，Φ1表示该映射函数M1的训练权重参数。
[0022]进一步的，所述步骤S2具体包括以下子步骤，
[0023]S2.1、将三张过渡分辨率的图像和两张高空间、低时间分辨率的图像输入到重建差分卷积网络中，根据时间序列的结构相关性，得到两张高空间分辨率差分图像F
T01
和F
T12
；
[0024]S2.2、根据时间序列的时间相关性，采用已知信息进行协同训练，将已知的两张高空间、低时间分辨率图像F0和F2输入协同训练卷积网络中，输出高分辨率差分图像F
T02
，使用高分辨率差分图像F
T02
帮助重建差分卷积网络完成训练；
[0025]S2.3、通过训练好的重建差分图像得到两张高空间分辨率差分图像F
T01
和 F
T12
。
[0026]进一步的，所述步骤S3通过加权融合重建得到一张高空间、高时间分辨率的图像F1，融合过程为：
[0027][0028]其中ω0和ω2分别作为F0和F2结合高空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，其特征在于，包括以下步骤：S1、将三张高时间、低空间分辨率的图像C
i
输入映射卷积网络中，i＝1，2，3，通过映射卷积网络中的多尺度感知和串联膨胀卷积提取特征，获得与高空间、低时间分辨率的图像具有相似分辨率的三张过渡图像；S2、将过渡图像与高空间、低时间分辨率的图像一起输入到重建差分图像中，通过多网络的协同训练，获得两张高空间、低时间分辨率的差分图像；S3、将两张高空间分辨率差分图像与两张高空间、低时间分辨率的图像进行加权融合，重建得到一张高空间、高时间分辨率的图像F1。2.根据权利要求1所述的一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，其特征在于，所述步骤S1的映射卷积网络由卷积层、多尺度感知模块、串联膨胀卷积模块构成，多尺度感知模块用于对输入的特征图进行多个尺度的分别感知，再叠加为新的多维特征图；串联膨胀卷积模块通过扩大卷积层感受野可以提取图像更丰富的特征信息，得到过渡分辨率的图像的过程为：其中T
i
表示过渡分辨率的图像，M0表示映射卷积网络的映射函数，Φ0表示该映射函数的训练权重参数。3.根据权利要求2所述的一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，其特征在于，所述步骤S1具体包括以下子步骤，S1.1、将输入的三个时刻的高时间、低空间分辨率图像放入多尺度感知模块中，得到它们多尺度感知下的特征图；S1.2、将多尺度感知的特征图输入到串联膨胀卷积中得到降维特征图；S1.3、分别将三张低空间分辨率的图像得到的降维特征图通过卷积操作转化为三张过渡分辨率的图像T
i
(i＝1，2，3)。4.根据权利要求2或3所述的一种基于多尺度机制和串联膨胀卷积遥感图像时空融合方法，其特征在于，所述步骤S2的重建差分卷积网络和协同训练卷积网络分别由八层基础卷积层和六层基础卷积层构成，其中重建差分卷积网络的任务更加复杂，所以网络设置也比协同训练卷积网络多两层基础卷积层。通过协同训练卷积网络的输出根据时间相关性帮助重建差分卷积网络完成训练，输出两张高空间分辨率差分图像F
T01
和F
T12
，其过程为：T
ij
＝T
...

【专利技术属性】
技术研发人员：李伟生，杨超，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：