基于双支深度学习网络的遥感图像融合方法及系统技术方案

本发明专利技术提供基于双支深度学习网络的遥感图像融合方法及系统，包括对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；构建双支卷积神经网络，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；将待融合的全色图像与多光谱图像，输入到训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。本发明专利技术针对遥感图像中的全色与多光谱图像的融合，利用深层次的深度卷积网络能够更加充分地提取影像的特征，集成两种图像之间的互补信息，生成高空间分辨率的多光谱图像。

Remote Sensing Image Fusion Method and System Based on Dual-branch Deep Learning Network

The invention provides a remote sensing image fusion method and system based on dual-branch deep learning network, which includes downsampling the panchromatic image and multi-spectral image as sample data respectively to obtain training samples, constructing a dual-branch convolution neural network, and training the dual-branch convolution neural network with random gradient descent algorithm to obtain the trained dual-branch convolution neural network. Network: The panchromatic image and multispectral image to be fused are input into the trained two-branch convolution neural network to obtain the fused multispectral image with high spatial resolution. Aiming at the fusion of Panchromatic and multispectral images in remote sensing images, the deep convolution network can extract image features more fully, integrate complementary information between the two images, and generate multispectral images with high spatial resolution.

【技术实现步骤摘要】
基于双支深度学习网络的遥感图像融合方法及系统
本专利技术属于遥感图像处理领域，涉及一种对遥感图像进行融合的技术方案。
技术介绍
遥感影像是卫星传感器探测和记录地表反射电磁波的信息载体，可以用于环境监控、地物分类、气候监测等等。许多对地观测卫星(如Landsat、GeoEye-1、QuickBird等)在拍摄多光谱影像的同时拍摄一幅同一区域的全色影像。由于地物在不同光谱区对电磁波有不同的反射值，因此多光谱影像相比与光谱单一的全色影像能够记录目标更多的信息量。多光谱影像光谱分辨率高，但受到传感器物理特性的限制以及考虑到信噪比的原因，它的空间分辨率不及全色影像。为了充分利用多光谱影像和全色影像所提供的光谱和空间信息，需要将两者进行融合，得到空间分辨率和光谱分辨率都较高的影像。融合后的影像既要具有全色影像的空间分辨率，又要保留原来多光谱影像的光谱信息。通过融合获得的影像比起单一的源影像具备更加精确的信息并更容易被解译。近几年来，各种各样的影像融合方法被广大学者提出，这些方法大致可分为三类：基于分量替换、基于多分辨率分析、基于稀疏表达。基于分量替换的融合算法的基本思路是将多光谱影像线性变换到另本文档来自技高网...

【技术保护点】
1.一种基于双支深度学习网络的遥感图像融合方法，其特征在于，包括以下步骤：步骤a，对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；步骤b，构建双支卷积神经网络，所述双支卷积神经网络包括一条用于输入多光谱图像的支线和一条用于输入全色图像的支线，两条支线分别包含若干卷积模块，将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出；步骤c，利用步骤a所得训练样本，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；步骤d，将待融合的全色图像与多光谱图像，输入到步骤c所得训练完成的双支卷积神经网络中，得到融合后的高空间...

【技术特征摘要】
1.一种基于双支深度学习网络的遥感图像融合方法，其特征在于，包括以下步骤：步骤a，对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；步骤b，构建双支卷积神经网络，所述双支卷积神经网络包括一条用于输入多光谱图像的支线和一条用于输入全色图像的支线，两条支线分别包含若干卷积模块，将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出；步骤c，利用步骤a所得训练样本，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；步骤d，将待融合的全色图像与多光谱图像，输入到步骤c所得训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。2.根据权利要求1所述基于双支深度学习网络的遥感图像融合方法，其特征在于：步骤b中，每个卷积模块包含卷积与非线性ReLU激活两个部分，表示如下，y(j)＝max(0,b(j)+∑ik(i)(j)*x(i))其中，i代表输入特征图的序号，j代表输出特征图的序号，k(i)(j)是作用于输入特征图x(i)以输出特征图y(j)的卷积核，b(j)表示偏置，符号*表示卷积操作。3.根据权利要求1所述基于双支深度学习网络的遥感图像融合方法，其特征在于：步骤c中，采用随机梯度下降算法对双支卷积神经网络进行训练时，损失函数为，其中，设步骤a得到训练集P为训练样本数目，z表示样本序号，取值为1到P；表示第z个样本基于双支卷积神经网络融合出的结果，分别为第z个样本中对应的全色图像和多光谱图像，y(z)为第z个样本相应理想的多光谱影像。4.根据权利要求1或2或3所述基于双支深度学习网络的遥感图像融合方法，其特征在于：设用于输入多光谱图像的支线包含m个卷积模块，用于输入全色图像的支线包含p个卷积模块，1≤m≤10，1≤p≤10。5.根据权利要求4所述基于双支深度学习网络的遥感图像融合方法，其特征在于：m＝2，p＝8。6.一种基于双支深...

【专利技术属性】
技术研发人员：邵振峰，蔡家骏，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42