一种基于深度卷积自编码网络的图像融合方法技术

本发明专利技术涉及一种基于深度卷积自编码网络的图像融合算法。首先，参考多尺度分解的思想与原理构建了深度卷积自编码网络框架；然后通过构建训练数据集、设置网络参数等操作对网络模型进行训练，该网络模型能够实现图像分解重构，最终得到一种图像的有效表示方式；最后，利用该网络模型将待融合图像分解为高频图像和低频图像，对于高频图像利用绝对值取大的原则进行融合，对于低频图像利用图像显著度作为权重进行融合，再利用网络的重构部分对融合后高、低频图像进行重构得到最终的融合图像。

An Image Fusion Method Based on Deep Convolution Self-coding Network

【技术实现步骤摘要】
一种基于深度卷积自编码网络的图像融合方法
本专利技术属于图像处理
，涉及一种基于深度学习的图像融合新方法，即基于深度卷积自编码网络的图像融合方法。将深度学习中的理论应用于图像融合领域，专利技术成果可用于各类军事或民用的异源图像融合系统中。
技术介绍
随着传感器技术、计算机技术以及信息技术的飞速发展，人们获得的信息量不断增加并呈现多样化趋势。由于单一的传感器信息处理技术不再适用于复杂的多传感器信息处理系统，基于多传感器的信息融合技术应运而生。图像融合作为信息融合领域中的一个重要分支，其核心在于，通过某种算法，实现同一场景中多类图像互补信息的融合，提高图像对场景描述的准确性和全面性，便于人眼视觉观察以及计算机的进一步处理与应用。图像融合通过多信源图像的优势互补，消除了信息的冗余与矛盾，降低了信息的不确定性与模糊度，增强了图像的可靠性，提高了图像信息的可解译性，在后期进行目标检测、识别、跟踪以及人工决策等方面均具有重要的应用需求。目前应用较广且较流行的方式是采用多尺度变换的框架进行图像融合。传统的图像融合方式常表现为手工设计图像变换框架，不同的变换框架均有不同方面的优缺点，说明了这种基于人为先验的固定框架难以表征图像的复杂特性。另外，基于计算成本和实现难度，人工设计一个基于图像融合的理想框架是十分困难的。因此，找到一个有效的图像分解与表示框架是当前图像融合领域中的一个重要挑战。随着近年来深度学习在目标检测识别、目标跟踪、图像分割、图像去噪、图像复原、图像生成等诸多领域的成功应用，许多学者在基于深度学习的图像融合方面开展了不少的研究：刘羽等人通过构建了一个孪生卷积神经网络将像素进行分类从而学习得到融合权重图来指导图像融合，但其基于多聚焦类型图像容易构造标准融合图像来指导网络训练的前提，不适用于红外与可见光等异源图像融合；也有学者将待融合图像通过非抽样小波变换(UWT)进行多尺度分解，然后对图像高频成分利用SRCNN网络增强图像细节再进行融合。这种方式本质上未对融合方式进行改变，仍未突破传统的多尺度分解框架；有学者在SRCNN网络框架基础上，网络输入为低分辨率多光谱图像与全色图像的叠加结果，输出为高分辨率多光谱图像，网络最终建模成一种端对端的映射来学习图像的复杂特征映射。但此类方法均是基于全色与多光谱图像融合可以建模为提高全色图像分辨率的问题，是一种特殊情况，不具有普适性的应用。分析可知以上方式成功地实现的图像融合在深度学习领域的探索，但仍未避免人为先验的固定框架或不具有普适性。基于此，本专利技术提出一种基于卷积自编码思想的图像融合框架。由于自动编码器能够对输入信号进行特征表示与输出重构，卷积神经网络能够针对二维图像提取到更有效的特征，因此本专利技术结合自动编码器思想与卷积神经网络模型，构建一个深度卷积自编码网络(DeepConvolutionalAuto-encodingNetwork,DCAN)学习得到图像分解重构框架。该框架突破了传统的手工设计滤波器的缺陷，通过设计合适的图像融合策略能够获得比传统多尺度图像融合方法更优的融合效果。
技术实现思路
要解决的技术问题传统的基于多尺度变换的图像融合方法通过人为先验手工设计变换框架，这种基于固定滤波器组的框架难以表征图像的复杂特性。为了避免现有技术的不足之处，学习得到一个更有效的图像表示方式来进行图像融合，本专利技术提出基于深度卷积自编码网络的图像融合框架。技术方案一种基于深度卷积自编码网络的图像融合方法，其特征在于步骤如下：步骤1：构建深度卷积自编码网络步骤1a：对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解；其中，conv1卷积核为人工预设的高斯拉普拉斯卷积核，大小为5×5；conv9卷积核为人工预设的高斯卷积核，大小为11×11；经过操作后，conv1得到图像中初始高频信息，conv9得到图像中低频信息；步骤1b：对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取，其中conv2-conv4卷积核大小为3×3；conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示，称为特征提取层结果；步骤1c：将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射，得到图像高频信息，并与conv9得到的图像低频信息共同称为网络的特征映射层结果；其中conv5-conv8卷积核大小为3×3；步骤1d：将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构，得到原输入图像的重构图像，其中，卷积核大小为11×11；步骤2：对深度卷积自编码网络进行训练步骤2a：训练数据：选择多种类型的图像数据，包括自然图像、成对的红外与可见光图像，将所有的图像均调整至256×256大小的灰度图像；按照3:1的比例将图像数据分为网络训练集与测试集；步骤2b：参数初始化：对于Conv9，加入非负性约束，其学习得到的权重参数均为正值；对于Conv1，限制其卷积核参数之和为0，即其中，λ的取值范围为[0.05,0.10]；对于其余卷积层，采用he_normal初始化方法进行初始化，具体表示为，对于具有nin个输入的层，其初始化权重W满足其中N为正态分布；步骤2c：损失函数：利用平均绝对误差函数作为损失函数对网络进行训练，所述的平均绝对值误差表示为网络模型的预测值与真实值之间距离的平均值，其对应的公式如下所示：其中，yi与yi′分别表示真实图像结果与网络输出图像结果；经过步骤2，我们最终得到了一个训练好的基于深度卷积自编码网络的图像分解与重构框架；步骤3：利用深度卷积自编码网络进行图像融合步骤3a：利用深度卷积自编码网络将输入的待融合图像A、B分解至特征映射层，得到图像的高频图像与低频图像其中，L表示分解得到的低频信息，H1～H4表示分解得到的高频信息；步骤3b：对分解得到的高、低频图像进行融合：低频图像融合策略具体表示为：LF(x,y)＝S(x,y)·LA(x,y)+(1-S(x,y))·LB(x,y)S(x,y)＝||Lμ-Lwhc(x,y)||其中，Lμ是图像特征的平均向量，Lwhc(x,y)为图像进行5×5的高斯模糊得到的图像，通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著性图；针对图像高频信息，选择绝对值取大的融合规则进行融合，具体表示为：最后，通过将这些融合子图像馈送至深度卷积自编码网络后半部分来得到最终的融合图像。所述网络框架通过人工初始化卷积核方式以及训练中进行卷积核约束，实现了网络对图像高低频信息的分解。通过训练一个能够实现图像分解重构的图像表示框架，突破传统固定图像分解重构框架的约束，使融合效果得到改善。通过低频图像利用红外低频显著性作为融合权重，高频图像利用绝对值取大原则进行融合。有益效果本专利技术提出的一种基于深度卷积自编码网络的图像融合算法。首先，参考多尺度分解的思想与原理构建了深度卷积自编码网络框架；然后通过构建训练数据集、设置网络参数等操作对网络模型进行训练，该网络模型能够实现图像分解重构，最终得到一种图像的有效表本文档来自技高网...

【技术保护点】
1.一种基于深度卷积自编码网络的图像融合方法，其特征在于步骤如下：步骤1：构建深度卷积自编码网络步骤1a：对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解；其中，conv1卷积核为人工预设的高斯拉普拉斯卷积核，大小为5×5；conv9卷积核为人工预设的高斯卷积核，大小为11×11；经过操作后，conv1得到图像中初始高频信息，conv9得到图像中低频信息；步骤1b：对conv1得到的初始高频信息利用conv2‑conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取，其中conv2‑conv4卷积核大小为3×3；conv1以及conv2‑conv4得到的结果为图像高频信息在不同层次的表示，称为特征提取层结果；步骤1c：将特征提取层conv1‑conv4中每一层得到的图像特征图利用conv5‑conv8的“卷积”操作来实现特征融合与映射，得到图像高频信息，并与conv9得到的图像低频信息共同称为网络的特征映射层结果；其中conv5‑conv8卷积核大小为3×3；步骤1d：将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构，得到原输入图像的重构图像，其中，卷积核大小为11×11；步骤2：对深度卷积自编码网络进行训练步骤2a：训练数据：选择多种类型的图像数据，包括自然图像、成对的红外与可见光图像，将所有的图像均调整至256×256大小的灰度图像；按照3:1的比例将图像数据分为网络训练集与测试集；步骤2b：参数初始化：对于Conv9，加入非负性约束，其学习得到的权重参数均为正值；对于Conv1，限制其卷积核参数之和为0，即...

【技术特征摘要】
1.一种基于深度卷积自编码网络的图像融合方法，其特征在于步骤如下：步骤1：构建深度卷积自编码网络步骤1a：对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解；其中，conv1卷积核为人工预设的高斯拉普拉斯卷积核，大小为5×5；conv9卷积核为人工预设的高斯卷积核，大小为11×11；经过操作后，conv1得到图像中初始高频信息，conv9得到图像中低频信息；步骤1b：对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取，其中conv2-conv4卷积核大小为3×3；conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示，称为特征提取层结果；步骤1c：将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射，得到图像高频信息，并与conv9得到的图像低频信息共同称为网络的特征映射层结果；其中conv5-conv8卷积核大小为3×3；步骤1d：将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构，得到原输入图像的重构图像，其中，卷积核大小为11×11；步骤2：对深度卷积自编码网络进行训练步骤2a：训练数据：选择多种类型的图像数据，包括自然图像、成对的红外与可见光图像，将所有的图像均调整至256×256大小的灰度图像；按照3:1的比例将图像数据分为网络训练集与测试集；...

【专利技术属性】
技术研发人员：李晖晖，苗宇宏，郭雷，刘航，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61