基于密集连接网络的全色图像与多光谱图像融合的方法技术

本发明专利技术提供一种基于密集连接网络的全色图像与多光谱图像融合的方法。该方法包括：构建训练集，包括N个由高分辨图像块和低分辨图像块组成的图像块对；设计用于遥感图像融合的密集连接网络，并利用高斯分布法初始化密集连接网络中每层网络的权值；将低分辨图像块输入密集连接网络，利用初始化的取值通过正向传播对密集连接网络进行预训练得到对应的融合图像块；利用反向传播算法对密集连接网络进行调整，直至融合图像块与高分辨图像块的均方误差收敛，并将此时的密集连接网络作为遥感图像融合网络模型；输入给定的低分辨多光谱图像和全色图像，利用遥感图像融合网络模型进行正向传播，得到对应的高分辨融合图像。

Fusion method of panchromatic image and multispectral image based on dense connection network

【技术实现步骤摘要】
基于密集连接网络的全色图像与多光谱图像融合的方法
本专利技术涉及遥感图像处理
，尤其涉及一种基于密集连接网络的全色图像与多光谱图像融合的方法。
技术介绍
遥感图像在军事和国民经济中具有非常重要的应用价值。一般，遥感卫星上同时载有全色传感器和多光谱传感器，全色传感器对大范围的光谱进行光谱响应得到全色图像；多光谱传感器在采集二维空间信息的基础上同时采集光谱特性、偏振特性等多维信息以得到光谱丰富的多光谱图像。全色图像即灰度图像，具有高的空间分辨率，但光谱分辨率较低，对地物类型的识别、确定极为不利。多光谱图像具有丰富的光谱信息，但是空间分辨率较低。多光谱图像和全色图像融合就是将全色图像空间特征与多光谱图像光谱特征组合成一幅影像，使融合后的影像不仅具有高的空间分辨率，还具有丰富的光谱信息，达到影像增强的目的。遥感图像融合技术克服了单一传感器图像的局限性和差异性，获取更为全面和准确的场景描述，提高图像的清晰度和可理解性，以便进一步进行图像的分析和处理。随着遥感技术的迅速发展，如何有效利用不同传感器、不同分辨率的多源数据成了遥感应用领域的瓶颈问题。目前常用的遥感图像融合方法主要包括空间域算法、变换域算法、基于压缩感知的融合算法以及基于深度学习的融合算法。空间域算法主要是利用一些简单的算术或替换算法直接对图像的像素进行简单的处理，主要包括灰度加权平均法，主成份分析(PCA)方法等。常用的基于变换域的图像融合算法有基于金字塔变换、基于小波变换以及基于多尺度几何变换的图像融合算法。基于压缩感知的融合方法的本质是利用信号的稀疏性，通过引入稀疏正则化项来约束图像融合的过程。近年来，随着深度学习的持续发展，基于该理论的遥感图像融合算法也开始崭露头角，并且取得了很好的效果。黄伟等人在“W.Huang,L.Xiao,Z.Wei,H.Liu,andS.Tang,"ANewPan-SharpeningMethodWithDeepNeuralNetworks."IEEEGeosci.RemoteSens.Lett.,vol.12,no.5.1037-1041,May2015”提出一种基于深度神经网络的遥感图像融合问题的全新锐化方法，通过改进的稀疏降噪自动编码器算法来训练高分辨率和低分辨率图像块之间的关系，最后利用训练好的深度网络重构融合图像。2016年，Giuseppe等人在“Giuseppe,Masi,etal."PansharpeningbyConvolutionalNeuralNetworks."RemoteSensing8.7(2016):594-.”提出了一种利用卷积神经网络的遥感图像融合算法，在输入层增加辐射索引特征图扩大输入维度，使该方法更具有实用性。随后，YancongWei等人在“Wei,Yancong,etal."BoostingtheAccuracyofMultispectralImagePansharpeningbyLearningaDeepResidualNetwork."IEEEGeoscience&RemoteSensingLetters14.10(2017):1795-1799.”中提出利用深度残差网络学习遥感图像融合，在网络设计中加入残差模块构成残差网络，有效地解决了深层网络的退化问题，并取得很好的融合效果。但上述方法使用的卷积网络模型，只能从相邻的前一层接收输入，并把输出传递给后一层。这种相邻层连接的网络结构不仅极大地限制了卷积神经网络的多样性和灵活性，而且在加深网络结构时越来越难以训练，容易出现梯度消失等问题。
技术实现思路
为解决现有的遥感图像融合算法并没有很好地利用卷积神经网络的灵活性和多样性，且在加深网络结构时难以训练的问题，本专利技术提供一种基于密集连接网络的全色图像与多光谱图像融合的方法。本专利技术提供的基于密集连接网络的全色图像与多光谱图像融合的方法，包括以下步骤：步骤1：构建训练集，所述训练集包括N个由高分辨图像块和与所述高分辨图像块对应的低分辨图像块Gi组成的图像块对所述高分辨图像块采样于已知的高分辨多光谱图像，所述低分辨图像块Gi采样于已知的低分辨多光谱图像和全色图像，i＝1,2…,N；步骤2：设计用于遥感图像融合的密集连接网络，并利用高斯分布法初始化密集连接网络中每层网络的权值；步骤3：将低分辨图像块Gi输入所述密集连接网络，利用初始化的取值通过正向传播对密集连接网络进行预训练得到与低分辨图像块Gi对应的融合图像块Fi；步骤4：利用反向传播算法对密集连接网络进行调整，直至融合图像块Fi与高分辨图像块的均方误差收敛，并将此时的密集连接网络作为遥感图像融合网络模型；步骤5：输入给定的低分辨多光谱图像和全色图像，利用所述遥感图像融合网络模型进行正向传播，得到对应的高分辨融合图像。进一步地，所述步骤1具体为：步骤1.1：分别对原始全色图像fPAN((H×scale)×(W×scale))和原始多光谱图像fMS(H×W×S)进行空间模糊和下采样，得到低分辨全色图像gPAN(H×W)和低分辨多光谱图像其中，H为全色图像的长度，W为全色图像的宽度，scale为下采样因子，S为多光谱图像的波段数；步骤1.2：对低分辨多光谱图像进行插值，得到放大的低分辨多光谱图像GMS(H×W×S)；步骤1.3：将低分辨多光谱图像GMS(H×W×S)与低分辨全色图像gPAN(H×W)拼接成一个S+1维的低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))；步骤1.4：以步长为l、窗口大小为h×w的滑块分别在低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))和原始多光谱图像fMS(H×W×S)抽取得到像素位置一致的低分辨图像块Gi和高分辨图像块组成N个图像块对进一步地，所述步骤2具体为：步骤2.1：利用预设复合函数Hl(·)将L个卷积层串联起来构成一个生长率为k的密连模块，所述L个卷积层允许任意两个非相邻层之间进行跨层连接；步骤2.2：将输入层、独立卷积层、两个所述密连模块、过渡层以及输出层进行组合得到用于遥感图像融合的密集连接网络；步骤2.3：整理密集连接网络的每层网络中的卷积核的大小与数量，然后从均值为0、方差为1的高斯分布中采样，将采样得到的随机值作为每层网络的初始权值。进一步地，所述步骤4具体为：步骤4.1：根据式(1)计算融合图像块Fi与高分辨图像块的均方误差L(θ)：其中，n表示输入图像的批次；步骤4.2：利用反向传播算法更新每层网络的权值，再次对低分辨图像块Gi进行正向传播得到与低分辨图像块Gi对应的融合图像块Fi；步骤4.3：重复执行步骤4.1和步骤4.2，直到均方误差L(θ)收敛，停止训练，保存此时的网络模型并作为遥感图像融合网络模型。进一步地，所述步骤5具体为：步骤5.1：对给定的低分辨多光谱图像进行插值放大，使其与给定的全色图像大小相同，其中，设定给定的低分辨多光谱图像为S维图像；步骤5.2：本文档来自技高网...

【技术保护点】
1.基于密集连接网络的全色图像与多光谱图像融合的方法，其特征在于，包括：/n步骤1：构建训练集，所述训练集包括N个由高分辨图像块

【技术特征摘要】
1.基于密集连接网络的全色图像与多光谱图像融合的方法，其特征在于，包括：
步骤1：构建训练集，所述训练集包括N个由高分辨图像块和与所述高分辨图像块对应的低分辨图像块Gi组成的图像块对所述高分辨图像块采样于已知的高分辨多光谱图像，所述低分辨图像块Gi采样于已知的低分辨多光谱图像和全色图像，i＝1,2…,N；
步骤2：设计用于遥感图像融合的密集连接网络，并利用高斯分布法初始化密集连接网络中每层网络的权值；
步骤3：将低分辨图像块Gi输入所述密集连接网络，利用初始化的取值通过正向传播对密集连接网络进行预训练得到与低分辨图像块Gi对应的融合图像块Fi；
步骤4：利用反向传播算法对密集连接网络进行调整，直至融合图像块Fi与高分辨图像块的均方误差收敛，并将此时的密集连接网络作为遥感图像融合网络模型；
步骤5：输入给定的低分辨多光谱图像和全色图像，利用所述遥感图像融合网络模型进行正向传播，得到对应的高分辨融合图像。


2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为：
步骤1.1：分别对原始全色图像fPAN((H×scale)×(W×scale))和原始多光谱图像fMS(H×W×S)进行空间模糊和下采样，得到低分辨全色图像gPAN(H×W)和低分辨多光谱图像其中，H为全色图像的长度，W为全色图像的宽度，scale为下采样因子，S为多光谱图像的波段数；
步骤1.2：对低分辨多光谱图像进行插值，得到放大的低分辨多光谱图像GMS(H×W×S)；
步骤1.3：将低分辨多光谱图像GMS(H×W×S)与低分辨全色图像gPAN(H×W)拼接成一个S+1维的低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))；
步骤1.4：以步长为l、窗口大小为h×w的滑块分别在低分辨多光谱图像G＝{GMS,gPAN}(H×W×(S+1))和原始多光谱图像fMS(H×W×S)抽取得到像素位置一致的低分辨图像块Gi和高分辨图像块组成N个图像块对


3.根据权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：黄伟，冯晶晶，王华，黄遥，
申请(专利权)人：郑州轻工业学院，
类型：发明
国别省市：河南;41