【技术实现步骤摘要】
本专利技术主要涉及图像处理，具体涉及一种基于双域动态融合网络的遥感图像融合方法及系统。
技术介绍
1、随着卫星的不断发射，人们利用卫星上搭载的各种传感器获得了大量的遥感图像，例如全色(panchromatic，pan)图像、多光谱(multispectral，ms)图像、高光谱图像(hyperspectral，hs)等。由于传感器的不同，获取的图像中包含的信息不同。多光谱成像传感器由于需要同时对多个波段成像，获取的多光谱图像空间细节较差。全色图像具有较好的空间细节，但只是单波段图像，缺乏光谱信息。为了获得空间分辨率高和光谱信息丰富的遥感图像，遥感图像融合是一种有效的方式。
2、遥感图像融合利用图像处理和计算机技术对来自不同传感器成像的数据进行信息提取和整合，即通过设计融合算法对全色图像的空间信息和多光谱图像的光谱信息进行处理，从而获得既具有高空间分辨率又具有良好光谱信息的图像。
3、目前，遥感图像融合算法可分为：传统遥感图像融合算法和基于深度学习的算法。传统遥感图像融合算法又可以分为成分替代法(component substitution，cs)、多分辨率分析法(multi-resolution analysis，mra)以及变分优化法(variational optimization，vo)。传统的遥感图像融合算法易发生光谱畸变或空间细节提取不充分的问题。相比于传统方法，基于深度学习的方法利用卷积神经网络(cnn)或自注意力(self-attention)强大的特征表达能力，在性能上得到了显著提升，但是
技术实现思路
1、本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种融合效果更好，空间细节更充分的基于双域动态融合网络的遥感图像融合方法及系统。
2、为解决上述技术问题，本专利技术提出的技术方案为：
3、一种基于双域动态融合网络的遥感图像融合方法，包括步骤：
4、获取低分辨率多光谱图像和高分辨率全分图像；
5、将所述低分辨率多光谱图像和高分辨率全分图像输入预先构建的双域动态融合网络模型中，得到高分辨率多光谱图像；具体过程为：
6、分别提取低分辨率多光谱图像和高分辨率全分图像在高通域的高频特征和空间域的空间-光谱特征；
7、融合低分辨率多光谱图像和高分辨率全分图像在高通域的高频特征和空间域的空间-光谱特征，重建得到融合图像；
8、将低分辨率多光谱图像与融合图像相加得到高分辨率多光谱图像。
9、优选地，所述双域动态融合网络模型包括：
10、高通域子网路，用于对输入的低分辨率多光谱图像和高分辨率全分图像充分提取高频特征；
11、空间域子网络，用于对输入的低分辨率多光谱图像和高分辨率全分图像充分提取空间-光谱特征；
12、重建网络，用于整合高通域子网路和空间域子网络在高通域和空间域上提取的高频特征和空间-光谱特征，以增强融合图像的空间细节信息和网络的泛化能力，重建得到融合图像；
13、残差模块，包括两个卷积模块和一个短跳跃连接，便于梯度反向传播和构建深层网络；
14、全局跳跃连接，用于对输入的低分辨率多光谱图像和重建融合图像相加得到高分辨率多光谱图像。
15、优选地，所述高通域子网路包括并行的全色高通支路、多光谱高通支路以及融合高通支路；多光谱高通支路的输入是低分辨率多光谱图像，全色高通支路的输入是全色图像，融合高通支路综合多光谱高通支路和全色高通支路提取的特征。
16、优选地，所述全色高通支路和多光谱高通支路均包括依次连接的高通模块、1个3×3卷积层、2个残差模块和动态局部-全局特征提取模块；所述高通模块用于将输入的低分辨率多光谱图像和全色图像转换到高频域中；所述融合高通支路包括依次连接的concatenate操作、1个3×3卷积层、1个残差模块和1个动态局部-全局特征提取模块；其中concatenate操作用于将两个特征图沿着通道维度拼接，用于整合高通域子网络提取的高频特征。
17、优选地，所述空间域子网路包括并行的全色空间支路、多光谱空间支路以及融合空间支路；多光谱空间支路的输入是低分辨率多光谱图像，全色空间支路的输入是全分图像，融合空间支路综合多光谱空间支路和全色空间支路提取的特征。
18、优选地，所述全色空间支路和多光谱空间支路包括依次连接的1个3×3卷积层、2个残差模块和动态局部-全局特征提取模块；融合空间支路包括依次连接的concatenate操作、1个3×3卷积层、1个残差模块和1个动态局部-全局特征提取模块；其中concatenate操作用于将两个特征图沿着通道维度拼接，用于整合高通域子网络提取的空间-光谱特征。
19、优选地，所述重建网络由concatenate操作，1个3×3卷积层，动态局部-全局特征提取模块和两个3×3卷积层依次串联组成。
20、优选地，所述高通域子网络、空间域子网络和重建网络中的动态局部-全局特征提取模块由并行的局部的3×3卷积层、全局的双轴非局部注意力模块与门控模块串联连接组成；其中3×3卷积层用于提取局部特征fl，双轴非局部注意力模块用于提取全局特征fg，门控模块用于筛选局部特征和全局特征中信息中更丰富的特征；
21、所述双轴非局部注意力模块包括：1×1卷积层、宽度方向平均池化、高度方向平均池化、softmax激活函数、reshape操作；其中输入特征在双轴非局部注意力模块被分为三路，一路输入特征被1×1卷积层提取特征，高度方向平均池化用于聚合垂直h轴的特征x1，reshape操作用于将x1变形得到大小为c×w的特征图x2；一路输入特征被1×1卷积层提取特征，宽度方向平均池化用于聚合水平w轴的特征y1，reshape操作用于将y1变形得到大小为h×c的特征图y2；一路输入特征被1×1卷积层提取特征v1，reshape操作用于将v1变形得到大小为h×w×c的特征图v2；x2和y2进行矩阵相乘，得到全局特征注意力矩阵a，softmax激活函数用于a计算出注意力权重α；矩阵相乘用于对注意力权重α和特征图v2矩阵相乘得到全局特征a1；两个1×1卷积层对特征a1进行整合得到特征图o1，同时捕捉通道之间的依赖关系；o1与输入进行逐元素相加，将全局信息融合到特征图中，实现在通道维度上的全局信息交互。
22、优选地，在构建双域动态融合网络模型时，采用预设的损失函数进行损失计算，并根据损失计算迭代更新融合网络模型的权重参数直到收敛，并保存最终的融合网络模型的权重参数，得到训练好的融合网络模型；其中，采用的损失函数l的函数表达式为：
23、
【技术保护点】
1.一种基于双域动态融合网络的遥感图像融合方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述双域动态融合网络模型包括：
3.根据权利要求2所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述高通域子网路包括并行的全色高通支路、多光谱高通支路以及融合高通支路；多光谱高通支路的输入是低分辨率多光谱图像，全色高通支路的输入是全色图像，融合高通支路综合多光谱高通支路和全色高通支路提取的特征。
4.根据权利要求3所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述全色高通支路和多光谱高通支路均包括依次连接的高通模块、1个3×3卷积层、2个残差模块和动态局部-全局特征提取模块；所述高通模块用于将输入的低分辨率多光谱图像和全色图像转换到高频域中；所述融合高通支路包括依次连接的concatenate操作、1个3×3卷积层、1个残差模块和1个动态局部-全局特征提取模块；其中concatenate操作用于将两个特征图沿着通道维度拼接，用于整合高通域子网络提取的高频特征。
5
6.根据权利要求5所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述全色空间支路和多光谱空间支路包括依次连接的1个3×3卷积层、2个残差模块和动态局部-全局特征提取模块；融合空间支路包括依次连接的concatenate操作、1个3×3卷积层、1个残差模块和1个动态局部-全局特征提取模块；其中concatenate操作用于将两个特征图沿着通道维度拼接，用于整合高通域子网络提取的空间-光谱特征。
7.根据权利要求6所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述重建网络由concatenate操作，1个3×3卷积层，动态局部-全局特征提取模块和两个3×3卷积层依次串联组成。
8.根据权利要求7所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述高通域子网络、空间域子网络和重建网络中的动态局部-全局特征提取模块由并行的局部的3×3卷积层、全局的双轴非局部注意力模块与门控模块串联连接组成；其中3×3卷积层用于提取局部特征Fl，双轴非局部注意力模块用于提取全局特征Fg，门控模块用于筛选局部特征和全局特征中信息中更丰富的特征；
9.根据权利要求1-8中任意一项所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，在构建双域动态融合网络模型时，采用预设的损失函数进行损失计算，并根据损失计算迭代更新融合网络模型的权重参数直到收敛，并保存最终的融合网络模型的权重参数，得到训练好的融合网络模型；其中，采用的损失函数L的函数表达式为：
10.一种基于双域动态融合网络的遥感图像融合系统，包括相互连接的存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1～9中任意一项所述方法的步骤。
...【技术特征摘要】
1.一种基于双域动态融合网络的遥感图像融合方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述双域动态融合网络模型包括：
3.根据权利要求2所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述高通域子网路包括并行的全色高通支路、多光谱高通支路以及融合高通支路；多光谱高通支路的输入是低分辨率多光谱图像，全色高通支路的输入是全色图像，融合高通支路综合多光谱高通支路和全色高通支路提取的特征。
4.根据权利要求3所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述全色高通支路和多光谱高通支路均包括依次连接的高通模块、1个3×3卷积层、2个残差模块和动态局部-全局特征提取模块；所述高通模块用于将输入的低分辨率多光谱图像和全色图像转换到高频域中；所述融合高通支路包括依次连接的concatenate操作、1个3×3卷积层、1个残差模块和1个动态局部-全局特征提取模块；其中concatenate操作用于将两个特征图沿着通道维度拼接，用于整合高通域子网络提取的高频特征。
5.根据权利要求4所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述空间域子网路包括并行的全色空间支路、多光谱空间支路以及融合空间支路；多光谱空间支路的输入是低分辨率多光谱图像，全色空间支路的输入是全分图像，融合空间支路综合多光谱空间支路和全色空间支路提取的特征。
6.根据权利要求5所述的基于双域动态融合网络的遥感图像融合方法，其特征在于，所述全色空间支路和多光谱空间支路包括依次连接...
【专利技术属性】
技术研发人员：李书清，范琪，龙理晴，颜一帆，贺勇，胡建文，陈波，杨帅雄，李曲婷，刘晓波，王庚平，李海燕，朱添益，刘从明，易嘉艺，
申请(专利权)人：国网湖南省电力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。