多尺度卷积神经网络的卫星全色与多光谱图像融合方法技术

本发明专利技术提出多尺度卷积神经网络的卫星全色与多光谱图像融合方法，包括以下步骤：构建基础卷积神经网络、构造需要的训练集和测试集、对多光谱图像进行锐化处理、对训练集和测试集进行数据增强处理、多尺度卷积神经网络模型的构造和通过对多尺度卷积神经网络模型的融合结果进行平均最终得到融合结果图像；本发明专利技术通过选择构造简单的三层卷积神经网络的构造方法进行构造，提高了卷积神经网络实现几率，提高了融合效率，通过在构成网络输入时，首先对多光谱图像进行锐化处理，可以充分利用在传统融合方法中容易被忽略的多光谱图像中的空间细节信息，提高了空间细节信息的融入效果。

Fusion Method of Satellite Panchromatic and Multispectral Images Based on Multiscale Convolutional Neural Network

The present invention proposes a satellite panchromatic and multispectral image fusion method based on multiscale convolution neural network, which includes the following steps: constructing basic convolution neural network, constructing training and testing sets needed, sharpening multispectral images, data enhancement processing for training and testing sets, constructing multiscale convolution neural network model, and constructing multiscale convolution neural network by using multiscale convolution neural network model. The fusion result of the network model is averaged and the fusion result image is finally obtained; The method of constructing a simple three-layer convolution neural network improves the probability of the realization of the convolution neural network and the fusion efficiency. By sharpening the multi-spectral image when the network input is constituted, the traditional fusion method can be fully utilized. Spatial detail information in multi-spectral images is easily ignored, which improves the integration effect of spatial detail information.

【技术实现步骤摘要】
多尺度卷积神经网络的卫星全色与多光谱图像融合方法
本专利技术涉及图像融合领域，尤其涉及多尺度卷积神经网络的卫星全色与多光谱图像融合方法。
技术介绍
近年来，搭载全色与多光谱图像传感器的卫星相继升空，全色图像与多光谱图像的融合研究随之成为卫星遥感领域一个重要而活跃的研究方向。这是因为在遥感领域里，往往需要同时具有高空间分辨率和高光谱分辨率的多光谱图像，图像融合技术就是综合全色与多光谱图像的特点与优势，利用高空间分辨率的全色图像去提高多光谱图像的空间分辨率，同时尽量保持多光谱图像的光谱特性，从而克服单一卫星传感器获取信息的局限性，获得更加详细的场景信息。关于全色与多光谱图像的融合方法，分替换法是其中一类简单而有效的经典方法，常见的分替换法方法包括HIS变换法、PCA变换法、HCS变换法以及GS变换法等，这类方法计算简洁，具有实时性和高效性，能够很好地提高多光谱图像的空间分辨率，但当全色图像与进行替代的成分或分量相关性不大时，容易在融合图像中产生光谱畸变现象；另一类经典的融合方法是多分辨率分析法，如拉普拉斯金字塔、小波变换、Contourlet变换等，多分辨率分析法由于全色图像细节信息与理本文档来自技高网...

【技术保护点】
1.多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：包括以下步骤：步骤一：构建基础卷积神经网络首先，构建一个简单的3层卷积神经网络，第一层卷积网络标记为f1(x)，第一层卷积网络标记为f1(x)激活函数选择纠正线性单元“ReLU,max(0,x)”，第二层卷积网络标记为f2(x)，第二层卷积网络标记为f2(x)的激活函数依然选择“ReLU”，第三层卷积网络标记为f3(x)；步骤二：构造需要的训练集和测试集选择图像的大小比例为4:1的全色图像和多光谱图像，其中多光谱图像为标签图像，先对全色图像和多光谱图像各波段按照从左到右、从上到下的，无重叠的截取原则进行截取对应位置的图像块，构成...

【技术特征摘要】
1.多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：包括以下步骤：步骤一：构建基础卷积神经网络首先，构建一个简单的3层卷积神经网络，第一层卷积网络标记为f1(x)，第一层卷积网络标记为f1(x)激活函数选择纠正线性单元“ReLU,max(0,x)”，第二层卷积网络标记为f2(x)，第二层卷积网络标记为f2(x)的激活函数依然选择“ReLU”，第三层卷积网络标记为f3(x)；步骤二：构造需要的训练集和测试集选择图像的大小比例为4:1的全色图像和多光谱图像，其中多光谱图像为标签图像，先对全色图像和多光谱图像各波段按照从左到右、从上到下的，无重叠的截取原则进行截取对应位置的图像块，构成新的输入图像，新的输入图像为输入图像为数据图像，并将得到的图像块看作新图像用于构成训练集和测试集，训练集与测试集的图像数量比例为7:3；步骤三：对多光谱图像进行锐化处理在步骤二中构成新的输入图像时对多光谱图像的各个波段采用高通滤波的方式进行锐化处理；步骤四：对训练集和测试集进行数据增强处理对步骤二中构成的训练集和测试集数据进行数据增强处理；步骤五：多尺度卷积神经网络模型的构造通过上述步骤一至步骤四，分别针对三种不同像素大小的多光谱图像块对应构成三种尺度的训练集和测试集，先通过应用步骤一中构造的卷积神经网络进行训练，对应得到三组网络模型参数，分别记作model40、model60和model80；步骤六：通过对多尺度卷积神经网络模型的融合结果进行平均最终得到融合结果图像分别对待融合的全色与多光谱图像应用步骤五中得到的三组网络模型参数model40、model60和model80进行融合，先将待融合图像输入卷积神经网络，利用训练好的参数对网络进行设置，得到对应的三个融合结果图像，然后对这三个融合结果图像的对应点的像素进行平均得到具有高空间分辨率的多光谱图像，即得到最终的融合结果图像。2.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图像融合方法，其特征在于：所述步骤一中第一层卷积网络f1(x)的表达公式如公式(1)所示：f1(x)＝max(0，w1*x+b1)(1)公式(1)中，w1代表权值，大小为c1×K1×K1×c2,c1表示第一层卷积网络的输入总波段数，c2表示第一层卷积网络输出的特征图的数量，即第一层卷积网络滤波器的个数，局部感知野的大小为K1×K1，b1代表偏置，是一个c2维的向量，激活函数选择纠正线性单元ReLU,max(0,x)。3.根据权利要求1所述的多尺度卷积神经网络的卫星全色与多光谱图...

【专利技术属性】
技术研发人员：何贵青，张琪琦，纪佳琪，霍胤丞，王琪瑶，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61