一种基于自适应神经网络的遥感图像时空融合方法技术

本发明专利技术公开了一种基于自适应神经网络的遥感图像时空融合方法。本发明专利技术在时空融合任务中提出了一种基于时间特征增强和空间纹理迁移的多阶段遥感图像时空融合模型。在时间特征增强上，设计了一个时间交互模块(Temporal Interaction Module,TIM)去充分利用不同阶段的时间差异特征。这个模块采用了跨时间门控机制，在不同阶段的特征中强调了时间信息变化。在空间纹理迁移上，利用AdaIN学习全局空间相关性，将高分辨率图像中的纹理迁移到低分辨率图像中。本发明专利技术可以通过时空融合，使得低分辨率图像带有高分辨率的细节。率图像带有高分辨率的细节。率图像带有高分辨率的细节。

【技术实现步骤摘要】
一种基于自适应神经网络的遥感图像时空融合方法


[0001]本专利技术涉及深度学习以及计算机视觉领域，具体涉及一种基于时空融合的遥感图像自适应网络。

技术介绍

[0002]随着地球观测技术的不断发展，对短时间序列的高分辨率遥感图像的需求不断增加。高时间和高空间分辨率的遥感图像在农作物和森林监测、地表灾害动力学研究以及土地覆盖变化检测中发挥着重要作用。
[0003]但是，由于一些不可避免的技术和预算的限制，单个卫星往往无法同时获得高时间和高空间分辨率的遥感卫星图像。提供高空间分辨率图像的卫星通常有一个较长的再访问周期，而具有短的再访问周期的卫星通常只能提供低空间分辨率的图像。例如，中分辨率成像光谱仪(MODIS)获得的遥感图像的空间分辨率为250～1000米，但仅需1天。陆地卫星Landsat
‑
8系列传感器获得的遥感图像的空间分辨率为30米，但其时间周期为16天。
[0004]时空融合将陆地卫星图像和MODIS图像融合在一起，获得高时空分辨率的遥感图像。在满足地面物体随时间的不断变化的同时，它保留了地面物体的详细特征。
[0005]近些年大量的时空融合算法已经被提出，大致可分为三类：基于重建的方法、基于贝叶斯的方法和基于学习的方法。
[0006]基于重建方法，基于重构的方法可以进一步细分为基于权重函数的方法和基于解混的方法。基于解混的方法采用线性光谱混合理论，通过对粗像素的组成进行分析和分解，估计细像素的值，但是存在光谱分解误差大和类内变异性大的问题。基于权重函数的方法通过权重函数融合所有输入图像的信息来估计预测的图像。但存在小物体和线性物体预测效果较差的问题。
[0007]基于贝叶斯的方法融合了图像时间序列中的相关信息，并将融合问题转化为一个概率估计问题，利用最大后验估计器得到了融合后的图像。贝叶斯框架提供了更大的灵活性，可以对输入图像与预测图像之间的关系进行建模。基于贝叶斯的方法具有良好的可解释性，但由于迭代求解，融合效率相对较低。
[0008]近年来深度学习的兴起使得通过深度神经网络模型填补时空融合空间和时间分辨率的巨大差距成为可能，它可以处理更抽象的图像特征以获得更好的性能。此外，鉴于在图像生成、风格迁移、超分辨率重建方面的令人满意的表现，生成对抗网络(GAN)也被用于完成时空融合任务。GAN
‑
STFM并没有对粗图像之间的时间特征变化进行处理，忽略了时间上的相关性，不能完全反映精细图像的变化。它缓解分辨率差异的点在于通过粗图像调整细图像和特征连接，但仅使用卷积和相加的操作。OPGAN直接从粗图像的差值图像中捕获地表覆盖随时间变化的信息，利用细图像从未改变的区域和纹理信息中获取内容信息，可以通过向内容信息中添加差值图像的特征信息来生成预测图像，借此缓解巨大的空间分辨率差距。MLFF
‑
GAN通过AdaIN来学习多时态图像之间的全局分布关系，并使用注意模块(AM)来学习小区域变化时的局部信息权值，以处理时间变化差异和巨大的分辨率差异。但它的学
习到的局部变化特征仅用在了特征融合阶段，缺乏捕捉远距离依赖关系的能力。

技术实现思路

[0009]本专利技术要解决的技术问题是如何使用深度学习和计算机视觉领域技术，对不同时空分辨率和不同时间下的图像特征进行处理、有效地融合，提供一种基于自适应神经网络的遥感图像时空融合方法。
[0010]本专利技术所采用的具体技术方案如下：
[0011]一种基于自适应神经网络的遥感图像时空融合方法，其具体做法为：针对待融合的两种不同分辨率遥感图像，将参考日期对应的一组高分辨率图像和低分辨率图像以及预测日期的低分辨率图像输入具有U型结构特征的遥感图像自适应网络模型中，由遥感图像自适应网络模型生成预测日期的高分辨率图像；
[0012]且所述遥感图像自适应网络模型预先作为生成器，与鉴别器一起通过对抗训练框架进行训练；
[0013]在所述对抗训练框架中，作为生成器的遥感图像自适应网络模型包含对称的特征细化模块(FRM)和特征融合模块(FFM)，特征细化模块中每个子模块的输出会传递到对称位置的特征融合模块的子模块中，从而构成U型网络结构；所述特征细化模块中每个子模块通过时间交互模块(TIM)进行特征的细化和传递，并使用AdaIN层对高分辨率的参考图像的空间纹理进行迁移；所述特征融合模块用于对最后一个特征细化子模块中的时间交互模块输出与每个特征细化子模块中的AdaIN层输出进行逐级融合，最终映射得到预测日期的高分辨率图像；
[0014]在所述对抗训练框架中，鉴别器由卷积神经网络构成，用于通过卷积神经网络对生成器生成的高分辨率图像和真实的高分辨率图像进行真伪判别，从而实现对抗训练。
[0015]作为优选，所述的遥感图像自适应网络模型中，特征细化模块包含四个依次级联的特征细化子模块，特征融合模块包含四个依次级联的特征融合子模块，四个特征细化子模块与四个特征融合子模块以一一对应的方式对称设置，特征细化模块每个特征细化子模块的输出传递到对称位置的特征融合子模块中作为输入；
[0016]所述特征细化模块的模块输入为参考日期t1的高分辨率图像F1、参考日期t1的低分辨率图像C1以及预测日期t2的低分辨率图像C2；对于任意第i个特征细化子模块而言，其输入为前端级联的模块输出和其中和代表特征细化模块的原始模块输入C1、C2和F1；在第i个特征细化子模块中，输入的和首先通过特征提取器提取特征并分别得到对应的特征图提取器提取特征并分别得到对应的特征图和然后将特征图和输入时间交互模块(TIM)中并生成对应的特征图和再将和作为第一AdaIN层的输入从而得到特征图将和作为第二AdaIN层的输入从而得到特征图最后将特征图与的拼接结果、特征图与的拼接结果、特征图分别作为第i个特征细化子模块最终输出的特征图和
[0017]所述特征融合模块中，首先由第一个特征融合子模块对输入的特征图特征图
以及特征图差值进行拼接，拼接结果由上采样层进行上采样后作为中间特征图输入至下一层；然后由第二个特征融合子模块对输入的特征图特征图以及中间特征图进行拼接，拼接结果由上采样层进行上采样后作为中间特征图输入至下一层；再由第三个特征融合子模块对输入的特征图特征图以及中间特征图进行拼接，拼接结果由上采样层进行上采样后作为中间特征图输入至下一层；最后由第四个特征融合子模块对输入的特征图特征图以及中间特征图进行拼接，拼接结果通过3
×
3卷积映射到特征融合模块最终输出的高分辨率图像F2′
。
[0018]作为优选，所述时间交互模块(TIM)中，对于输入的特征图和先将减去以获取关于表面变化的粗略信息D，再将特征图和分别与D拼接起来生成对应的特征图和然后再对特征图和各自通过1
×
1卷积运算和sigmoid函数计算得到对应的权重图和最后将加权乘到上输出特征图将加权乘到上输出特征图
[0019]作为优选，所述的鉴别器中，生成器生成的高分辨率图像和真实的高分辨率图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应神经网络的遥感图像时空融合方法，其特征在于：针对待融合的两种不同分辨率遥感图像，将参考日期对应的一组高分辨率图像和低分辨率图像以及预测日期的低分辨率图像输入具有U型结构特征的遥感图像自适应网络模型中，由遥感图像自适应网络模型生成预测日期的高分辨率图像；且所述遥感图像自适应网络模型预先作为生成器，与鉴别器一起通过对抗训练框架进行训练；在所述对抗训练框架中，作为生成器的遥感图像自适应网络模型包含对称的特征细化模块(FRM)和特征融合模块(FFM)，特征细化模块中每个子模块的输出会传递到对称位置的特征融合模块的子模块中，从而构成U型网络结构；所述特征细化模块中每个子模块通过时间交互模块(TIM)进行特征的细化和传递，并使用AdaIN层对高分辨率的参考图像的空间纹理进行迁移；所述特征融合模块用于对最后一个特征细化子模块中的时间交互模块输出与每个特征细化子模块中的AdaIN层输出进行逐级融合，最终映射得到预测日期的高分辨率图像；在所述对抗训练框架中，鉴别器由卷积神经网络构成，用于通过卷积神经网络对生成器生成的高分辨率图像和真实的高分辨率图像进行真伪判别，从而实现对抗训练。2.如权利要求1所述的一种基于自适应神经网络的遥感图像时空融合方法，其特征在于，所述的遥感图像自适应网络模型中，特征细化模块包含四个依次级联的特征细化子模块，特征融合模块包含四个依次级联的特征融合子模块，四个特征细化子模块与四个特征融合子模块以一一对应的方式对称设置，特征细化模块每个特征细化子模块的输出传递到对称位置的特征融合子模块中作为输入；所述特征细化模块的模块输入为参考日期t1的高分辨率图像F1、参考日期t1的低分辨率图像C1以及预测日期t2的低分辨率图像C2；对于任意第i个特征细化子模块而言，其输入为前端级联的模块输出和其中和代表特征细化模块的原始模块输入C1、C2和F1；在第i个特征细化子模块中，输入的和首先通过特征提取器提取特征并分别得到对应的特征图器提取特征并分别得到对应的特征图和然后将特征图和输入时间交互模块(TIM)中并生成对应的特征图和再将和作为第一AdaIN层的输入从而得到特征图将和作为第二AdaIN层的输入从而得到特征图最后将特征图与的拼接结果、特征图与的拼接结果、特征图分别作为第i个特征细化子模块最终输出的特征图和所述特征融合模块中，首先由第一个特征融合子模块对输入的特征...

【专利技术属性】
技术研发人员：冯天，张微，胡晨璐，马梦婷，马笑文，
申请(专利权)人：浙江大学，
类型：发明
国别省市：