一种夜间场景下照度自适应的红外与可见光图像融合方法技术

本发明专利技术公开了一种夜间场景下照度自适应的红外与可见光图像融合方法，涉及图像处理及机器视觉技术领域，包括：采集夜间场景下的红外与可见光图像，并分别进行配准预处理，构建训练数据集；构建网络模型，并设计损失函数；将所述训练数据集输入所述网络模型中进行模型训练，直至模型收敛，保存网络模型的参数，得到训练好的融合模型；基于所述训练好的融合模型对夜间场景下的红外与可见光图像进行融合，获得最终的融合图像。本发明专利技术可以在夜间照明不均匀的情况下得到效果更好的融合图像，并使融合图像中目标的局部边缘更加清晰。图像中目标的局部边缘更加清晰。图像中目标的局部边缘更加清晰。

【技术实现步骤摘要】
一种夜间场景下照度自适应的红外与可见光图像融合方法


[0001]本专利技术涉及图像处理及机器视觉
，更具体的说是涉及一种夜间场景下照度自适应的红外与可见光图像融合方法。

技术介绍

[0002]图像融合将来自不同传感器的源图像进行整合，融合结果弥补了单一传感器自身的信息局限性。通常在夜间场景下存在灯光变换不定、灯光强度不均匀的情况，在这种环境下获得的可见光图像照度不均匀，对比度低，目标不清晰，视觉质量差。红外传感器特殊的成像原理使得红外图像不受灯光变化、恶劣天气的影响。因此，将红外与可见光图像进行图像融合，融合图像既能保留丰富的纹理细节，又能突出显著性目标，融合结果可以应用于目标识别、安防监控、目标跟踪等领域。然而，现有的针对夜间场景下的图像融合方法存在以下问题：融合结果受灯光影响大，目标的局部边缘模糊。
[0003]中国专利公开号为CN107481214A的“一种微光图像与红外图像融合方法”，对采集的微光图像和红外图像分别进行去噪声处理，再利用基于边缘特征的图像配准方法将去噪声后的微光图像和红外图像进行配准。使用双树复小波变换对配准后的图像进行图像融合，最后对图像进行增强处理，得到最终的融合图像。但是，该方法对于夜间照明不均匀的源图像的融合效果差，且融合图像中目标的局部边缘模糊。
[0004]因此，如何在夜间照明不均匀的情况下得到效果更好地融合图像，并使融合图像中目标的局部边缘更加清晰是本领域技术人员亟需解决的技术问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种夜间场景下照度自适应的红外与可见光图像融合方法，可以在夜间照明不均匀的情况下得到效果更好的融合图像，并使融合图像中目标的局部边缘更加清晰。
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]一种夜间场景下照度自适应的红外与可见光图像融合方法，包括以下步骤：
[0008]采集夜间场景下的红外与可见光图像，并分别进行配准预处理，构建训练数据集；
[0009]构建网络模型，并设计损失函数；
[0010]将所述训练数据集输入所述网络模型中进行模型训练，直至模型收敛，保存网络模型的参数，得到训练好的融合模型；
[0011]基于所述训练好的融合模型对夜间场景下的红外与可见光图像进行融合，获得最终的融合图像。
[0012]上述技术方案达到的技术效果为：可以在夜间照明不均匀的情况下得到效果更好地融合图像，并使融合图像中目标的局部边缘更加清晰。
[0013]可选的，所述构建训练数据集，具体为：
[0014]选用夜间道路数据集MRSR和数据集M3FD，将所述夜间道路数据集MRSR和数据集
M3FD中的图像进行配准预处理以获得同样尺寸大小的图像，构建训练数据集。
[0015]可选的，所述网络模型包括主干融合网络和局部照度自适应支路网络；其中：
[0016]所述主干融合网络包括第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块；所述第一卷积块用于提取源图像的浅层特征，所述第二卷积块和第三卷积块用于提取源图像的深层特征，所述第四卷积块和第五卷积块用于对两条支路的特征图进行特征融合及图像重建，得到融合图像；
[0017]所述局部照度自适应支路网络包括四个卷积层和两个全连接层，四个所述卷积层用于提取输入源图像的特征，两个所述全连接层用于输出源图像的高照度概率和低照度概率。
[0018]可选的，所述第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块均包括卷积层、激活函数、跳跃连接和拼接操作；其中：所述第一卷积块、第二卷积块、第三卷积块和第四卷积块中的激活函数均为线性整流函数，所述第五卷积块中的激活函数为双曲正切函数；
[0019]所述局部照度自适应支路网络的激活函数均为线性整流函数，所有卷积层的卷积核大小为n
×
n。
[0020]上述技术方案达到的技术效果为：公开了网络模型的主要结构，在主干融合网络使用的卷积模块中引入跳跃连接结构，可以缓解多次卷积后特征映射的信息丢失，保留源图像的信息；局部照度自适应支路网络可以估计可见光源图像局部区域的照度情况，促进主干融合网络的照度自适应融合，解决照度不均匀图像的融合质量差的问题。
[0021]可见的，所述设计损失函数，具体为：
[0022]基于所述局部照度自适应支路网络输出的照度概率和概率标签，构建所述局部照度自适应支路网络的损失函数；
[0023]基于所述主干融合网络输出的融合图像、图像标签以及局部照度自适应支路网络输出的照度概率，构建所述主干融合网络的损失函数。
[0024]可见的，所述局部照度自适应支路网络的损失函数为概率分类损失函数，使用可见光源图像的照度作为概率标签；所述主干融合网络的损失函数包括像素损失函数、梯度损失函数和边缘增强损失函数，使用红外与可见光源图像作为图像标签。
[0025]上述技术方案达到的技术效果为：公开了设计损失函数的主要过程，使用目标边缘增强损失函数，不仅能使显著性目标更加突出，还可以使目标的局部边缘更加清晰。
[0026]可选的，所述得到训练好的融合模型，具体包括以下步骤：
[0027]训练所述主干融合网络和局部照度自适应支路网络，在训练过程中最小化损失函数的值，直至训练次数达到预设阈值或损失函数的值稳定在预设范围内，则完成网络模型的训练，并保存网络模型的参数。
[0028]可选的，所述训练所述主干融合网络和局部照度自适应支路网络，具体为：
[0029]在所述局部照度自适应支路网络的训练过程中，使用所述训练数据集中的可见光图像作为输入；
[0030]在所述主干融合网络的训练过程中，使用所述训练数据集中的红外与可见光图像作为输入。
[0031]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种夜间场景下
照度自适应的红外与可见光图像融合方法，公开了网络模型的主要结构，在主干融合网络使用的卷积模块中引入跳跃连接结构，可以缓解多次卷积后特征映射的信息丢失，保留源图像的信息；局部照度自适应支路网络可以估计可见光源图像局部区域的照度情况，促进主干融合网络的照度自适应融合，解决照度不均匀图像的融合质量差的问题，可以在夜间照明不均匀的情况下得到效果更好地融合图像，并使融合图像中目标的局部边缘更加清晰；此外，使用目标边缘增强损失函数，不仅能使显著性目标更加突出，还可以使目标的局部边缘更加清晰。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0033]图1为夜间场景下照度自适应的红外与可见光图像融合方法的流程图；
[0034]图2为网络模型的结构示意图；
[0035]图3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，包括以下步骤：采集夜间场景下的红外与可见光图像，并分别进行配准预处理，构建训练数据集；构建网络模型，并设计损失函数；将所述训练数据集输入所述网络模型中进行模型训练，直至模型收敛，保存网络模型的参数，得到训练好的融合模型；基于所述训练好的融合模型对夜间场景下的红外与可见光图像进行融合，获得最终的融合图像。2.根据权利要求1所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述构建训练数据集，具体为：选用夜间道路数据集MRSR和数据集M3FD，将所述夜间道路数据集MRSR和数据集M3FD中的图像进行配准预处理以获得同样尺寸大小的图像，构建训练数据集。3.根据权利要求1所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述网络模型包括主干融合网络和局部照度自适应支路网络；其中：所述主干融合网络包括第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块；所述第一卷积块用于提取源图像的浅层特征，所述第二卷积块和第三卷积块用于提取源图像的深层特征，所述第四卷积块和第五卷积块用于对两条支路的特征图进行特征融合及图像重建，得到融合图像；所述局部照度自适应支路网络包括四个卷积层和两个全连接层，四个所述卷积层用于提取输入源图像的特征，两个所述全连接层用于输出源图像的高照度概率和低照度概率。4.根据权利要求3所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块均包括卷积层、激活函数、跳跃连接和拼接操作；其中：所述第一卷积块、第二卷积块、第三卷积块和第四卷积块中的...

【专利技术属性】
技术研发人员：詹伟达，王佳乐，郝子强，曹可亮，刘晟佐，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：