一种红外和可见光图像融合方法技术

本发明专利技术公开了一种红外和可见光图像融合方法，首先，构建可见光和红外图像数据库，确定卷积神经网络结构，构建卷积神经网络基本单元；其次，应用可见光和红外图像数据库通过迁移训练对GoogLeNet进行训练；然后，将融合图像分别和原图像的损失函数以及正则项相加作为目标函数，进行融合网络的训练；最后，输入待融合的可见光及红外图像得到最终的融合图像。本发明专利技术将图像融合分为融合网络和评价网络，根据感知损失函数确定目标函数，采用随机梯度下降法更新融合网络中参数，获得最优的融合图像，相比于现有的深度学习融合算法，融合效果更好。

【技术实现步骤摘要】
一种红外和可见光图像融合方法
本专利技术涉及图像处理领域，特别涉及到一种基于卷积神经网络和感知损失函数的红外和可见光图像融合方法。
技术介绍
红外与可见光图像融合是在军事领域和安全监控领域具有广泛应用的一种图像融合方式。红外图像一般较暗、信噪比低、无彩色信息、缺少层次感，但却常有比较明显的目标信息；可见光图像光谱信息丰富，动态范围大，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察。通过对红外与可见光图像的融合，提高红外目标的可识别度和图像的清晰度，获得更加详细准确的信息，可以使人们能在恶劣的环境下也能准确判断热源的位置，在军事作战、电子产品检测、资源探测等众多领域中都有广泛的实用价值。目前绝大部分的融合算法是在变换域实现的，将配准后的待融合图像在变换域进行特征提取，如小波变换、独立成分分析、Hess矩阵分解和稀疏分解等，其实质是通过某种变换将原始图像转换到变换域，对变换域上图像的系数进行合并，重建得到融合图像。这类方法在特征提取和合并过程中不能直接针对某种融合质量评价标准(如Piella指数，Petrovic指数)的提高，具有很强的盲目性，缺少理论依据，算法的有效性只能通过实验验证。因此这类算法具有较强的局限性，难以保证其对未经实验图像的有效性。近年来，深度学习技术受到广泛关注，已经在模式识别，图像增强等许多领域取得很好的效果。也有一些研究人员将深度学习应用于图像融合进行探索性的研究。如利用深度学习模型(如卷积神经网络、自动编码)将待融合图像分解为高低频图像，再采用不同的融合规则分别融合，取得了一定的效果。但这类方法只是将深度学习获得的特征分别融合，不能保证最后的融合质量，融合图像的效果不能反馈于深度学习的训练过程，没有很好的利用深度学习算法的自适应性。因此，需要有一种新的方法通过深度学习和感知损失函数获得效果最优的融合图像。
技术实现思路
专利技术目的：本专利技术提出了一种融合效果更好的红外和可见光图像融合方法。技术方案：本专利技术所述的一种红外和可见光图像融合方法，包括以下步骤：(1)构建可见光和红外图像数据库，确定卷积神经网络结构，构建卷积神经网络基本单元；(2)应用可见光和红外图像数据库通过迁移训练对GoogLeNet进行训练；(3)将融合图像分别和原图像的损失函数以及正则项相加作为目标函数，进行融合网络的训练；(4)输入待融合的可见光及红外图像得到最终的融合图像。步骤(1)所述的卷积神经网络深度为10，包括输入层、基本单元、卷积层和回归层。所述步骤(1)包括以下步骤：(13)将带融合数据库中的红外和可见光图像滑动分块，根据融合网络深度确定图像块的大小；(14)输入层之后是第1个卷积层，包含32个滤波器，卷积核为3×3；(13)接下来的9层中的卷积核由维度为3×3×32的标准正态分布的随机矩阵乘以分别计算得到，偏置全部为0，卷积层后跟随一个激励层，激励层均选用漏修正线性单元函数；(14)最后一层卷积层后使用回归层。所述步骤(2)包括以下步骤：(21)评价网络中应用全连接层、logistics分类层替换GoogLeNet的池化层、全连接层、softmax分类层，然后输入红外和可见光数据进行网络的微调；(22)为防止训练中出现过拟合现象，首先将GooLeNet中的前100层冻结，学习率设为0，不进行参数的更新，其他层初始的学习率为0.01。步骤(3)所述的目标函数为：其中，K为所选用的卷积层总数量，k指的是第k层，Mk表示第k层滤波器个数，每个滤波器是大小的Nk的向量特征地图。有益效果：与现有技术相比，本专利技术的有益效果：将图像融合分为融合网络和评价网络，利用融合网络生成融合图像，再将获得的融合图像和待融合图像输入到评价网络中，根据感知损失函数确定目标函数，采用随机梯度下降法更新融合网络中参数，获得最优的融合图像，相比于现有的深度学习融合算法，融合效果更好。附图说明图1为本专利技术的流程图；图2为本专利技术中的融合网络结构框图；图3为红外图像；图4为可见光图像；图5为本专利技术的融合图像。具体实施方式下面结合附图对本专利技术做进一步说明，图1为本专利技术的流程图，包括以下步骤：1、设计融合网络结构确定卷积神经网络结构，构建卷积神经网络基本单元，本专利技术的卷积神经网络深度为10，由输入层、基本单元、卷积层和回归层组成，如图2所示，其中基本单元包含卷积层和激励层。该卷积网络作为融合网络实现可见光和红外图像融合。(1)首先将带融合数据库中的红外和可见光图像滑动分块，根据融合网络深度确定图像块的大小。为了能够更好的提取图像特征，输入层中图像块的大小应等于网络感受域的大小，若网络深度为A，则网络感受域的大小应为(2A+1)×(2A+1)。考虑到融合效果和计算速度，设定网络深度为10，则图像快大小为21×21。随机选定30000组红外和可见光图像块，并归一化。(2)输入层之后是第1个卷积层，包含32个滤波器，卷积核为3×3。卷积计算时滑动步长为2，同时为了保持边界信息，使用zero-padding。32个卷积核的初始值由维度为3×3×2的标准正态分布的随机矩阵乘以分别计算得到，偏置全部为0。卷积层后跟随1个激励层，为避免修正线性单元(ReLU，TheRectifiedLinearUnit)的死亡节点问题，激励层均选用漏修正线性单元(LeakyReLU)，函数为(3)接下来的9层中的卷积核由维度为3×3×32的标准正态分布的随机矩阵乘以分别计算得到，偏置全部为0。卷积层后跟随一个激励层，激励层均选用LeakyReLU。(4)最后一层卷积层后不使用LeakyReLU，而使用回归层。2、评价网络训练应用可见光传感器和热像仪同时采集可见光和红外图像数据10000组，得到图像数据库。并应用该数据库通过迁移训练对GoogLeNet进行再次训练，使其具有提取可见光和红外图像特征的能力。(1)评价网络中应用全连接层、logistics分类层替换GoogLeNet的最后三层，然后输入红外和可见光数据进行网络的微调(Fine-turning)。(2)为防止训练中出现过拟合现象，首先将GooLeNet中的前100层冻结，学习率设为0，不进行参数的更新；其他层初始的学习率为0.01。3、上述网络训练完成后将其作为评价网络，评价融合图像的效果，并将融合图像分别和两幅原图像的感知损失函数作为目标函数，以进行融合网络的训练。(1)用最小化目标函数生成一个融合图像，目标函数为融合图像与红外或可见光图像感知损失函数加权和：其中，K为所选用的卷积层总数量，k指的是第k层，Mk表示第k层滤波器个数，每个滤波器是大小的Nk的向量特征地图。4、输入待融合的可见光及红外图像得到最终的融合图像，并利用评价网络确定融合效果。为了能够更好的提取图像特征，令输入层中图像块的大小等于网络感受域的大小，网络深度为10，则输入图像块大小为21×21。融合网络卷积核初始化为高斯滤波器，偏置设为0。mini-batch大小决定误差收敛的稳定性，值越大稳定性越好，但占用内存较多，运算速度更长，综合考虑，mini-batch选值为32-64。学习率决定误差收敛速度，值越大收敛速度越快，但是越不稳定，取值为0.01～0.1。图3、图4为在同一环境下获得的红外图像和可见光图像，经过本专利技术的融合方本文档来自技高网...

【技术保护点】
1.一种红外和可见光图像融合方法，其特征在于，包括以下步骤：(1)构建可见光和红外图像数据库，确定卷积神经网络结构，构建卷积神经网络基本单元；(2)应用可见光和红外图像数据库通过迁移训练对GoogLeNet进行训练；(3)将融合图像分别和原图像的损失函数以及正则项相加作为目标函数，进行融合网络的训练；(4)输入待融合的可见光及红外图像得到最终的融合图像。

【技术特征摘要】
1.一种红外和可见光图像融合方法，其特征在于，包括以下步骤：(1)构建可见光和红外图像数据库，确定卷积神经网络结构，构建卷积神经网络基本单元；(2)应用可见光和红外图像数据库通过迁移训练对GoogLeNet进行训练；(3)将融合图像分别和原图像的损失函数以及正则项相加作为目标函数，进行融合网络的训练；(4)输入待融合的可见光及红外图像得到最终的融合图像。2.根据权利要求1所述的一种红外和可见光图像融合方法，其特征在于，步骤(1)所述的卷积神经网络深度为10，包括输入层、基本单元、卷积层和回归层。3.根据权利要求1所述的一种红外和可见光图像融合方法，其特征在于，所述步骤(1)包括以下步骤：(11)将带融合数据库中的红外和可见光图像滑动分块，根据融合网络深度确定图像块的大小；(12)输入层之后是第1个卷积层，包含32个滤波器，卷积核为3×3；(13)接下来的9层中的...

【专利技术属性】
技术研发人员：余南南，卜伟，黄欢，胡福年，
申请(专利权)人：江苏师范大学，
类型：发明
国别省市：江苏,32