一种基于图像增强的夜间红外与可见光图像融合方法技术

本发明专利技术属于图像处理及机器视觉技术领域，尤其为一种基于图像增强的夜间红外与可见光图像融合方法，该方法具体包括如下步骤：步骤1，准备训练数据：选取夜间场景下红外与可见光图像数据集，对数据集进行预处理，构建网络训练数据集。本发明专利技术，设计无监督的增强网络，根据图像属性设计增强损失函数来驱动无参考的增强网络，解决了缺失参考图像的问题，设计增强边缘损失函数、照度均匀损失函数和颜色平衡损失函数，提高融合图像的对比度，增强目标的边缘信息，提升图像的视觉效果，在融合网络中采用多尺度的特征提取部分，利用不同内核大小的多个卷积层，可以捕获图像的多尺度深度特征。可以捕获图像的多尺度深度特征。可以捕获图像的多尺度深度特征。

【技术实现步骤摘要】
一种基于图像增强的夜间红外与可见光图像融合方法


[0001]本专利技术涉及图像处理及机器视觉
，具体为一种基于图像增强的夜间红外与可见光图像融合方法。

技术介绍

[0002]图像融合将同一场景的多模态图像进行整合，生成信息更丰富、细节更清晰的融合图像。在夜晚场景中，不均匀的灯光导致可见光图像照度不均匀；此外，不均匀的灯光还会导致可见光图像出现颜色失真的问题；得益于红外图像特殊的获取原理，其不受灯光变化、恶劣天气的影响，可以突出显著性目标；因此，红外与可见光图像融合是图像融合领域中不可或缺的一部分，融合结果可以应用于目标识别、安防监控、目标跟踪等领域；然而，现有的针对夜间场景下的图像融合的方法存在以下问题：源图像不进行预处理直接进行融合，使得融合图像存在对比度低、照度不均匀、颜色失真和目标边缘模糊等问题。
[0003]中国专利公开号为“CN107481214A”，名称为“一种微光图像与红外图像融合方法”；该方法针对同一场景采集微光图像和红外图像，接下来对采集来的源图像进行去噪声处理；利用基于边缘特征的图像配准方法将去噪声后的微光与红外图像进行有效配准；对配准后的源图像做双树复小波变换，得到低频和高频系数，并对系数组进行滤波处理；对滤波后的低频和高频系数组分别进行融合；对融合后的低频和高频系数组做双树复小波变换，即可得到融合图像；该方法得到的融合图像存在对比度低、照明不均匀、颜色失真和目标边缘模糊的问题。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种基于图像增强的夜间红外与可见光图像融合方法，解决现有方法得到的融合图像存在对比度低、背景照明不均匀、颜色失真和目标边缘模糊等问题。
[0006](二)技术方案
[0007]本专利技术为了实现上述目的具体采用以下技术方案：一种基于图像增强的夜间红外与可见光图像融合方法，该方法具体包括如下步骤：
[0008]步骤1，准备训练数据：选取夜间场景下红外与可见光图像数据集，对数据集进行预处理，构建网络训练数据集；
[0009]步骤2，构建网络模型：网络模型包括增强网络和融合网络，增强网络包括红外编码器、可见光编码器、红外解码器和可见光解码器，源图像输入至增强网络得到增强图像；融合网络包括红外编码器、可见光编码器、红外特征提取部分、可见光特征提取部分和图像重建部分，增强图像经过编码器得到增强特征，增强特征经过特征提取部分进行进一步的特征提取，所有特征图在通道维度上连接，再输入至图像重建部分得到融合图像；
[0010]步骤3，设计损失函数：根据图像属性设计增强损失函数来驱动无参考的图像增强
网络；根据夜间场景特点设计融合损失函数来驱动图像融合网路；
[0011]步骤4，训练网络模型：训练分为两个阶段，先训练增强网络，再训练融合网络；最小化网络损失函数，直到训练次数达到预设阈值或损失函数的值稳定在预设范围内，即认为网络模型训练完成，保存网络模型的参数；
[0012]步骤5，确定融合模型：融合网络训练完成后，固定网络模型参数，确定该网络模型为最终的融合网络模型；之后需要进行红外与可见光图像融合操作时，直接将源图像输入至最终的融合网络中，即可得到融合图像。
[0013]进一步地，所述步骤1中的数据集使用夜间道路场景数据集MRSR，其中图像预处理包括图像配准和尺寸裁剪，处理好的图像组成训练数据集。
[0014]进一步地，所述步骤2中增强网络的红外编码器和可见光编码器的组成结构相同，由卷积层一、卷积层二、卷积层三和激活函数组成；红外解码器和可见光解码器的组成结构相同，由卷积层一、卷积层二、卷积层三和激活函数组成；融合网络中的红外特征提取部分和可见光特征提取部分组成结构相同，包括四个不同尺度的卷积层一、卷积层二、卷积层三和卷积层四，四个单层卷积层后分别连接全局注意力模块一、全局注意力模块二、全局注意力模块三和全局注意力模块四；其中，全局注意力模块由卷积层、全连接层、归一化指数函数、S函数、矩阵乘法操作和对应元素乘法操作；融合网络中的图像重建部分由卷积层一、卷积层二、卷积层三和激活函数组成；其中，所有卷积层的卷积核大小为n
×
n，激活函数使用线性整流函数。
[0015]进一步地，所述步骤3中的增强损失函数包括边缘增强损失函数、照度均匀损失函数和颜色平衡损失函数；融合损失函数包括最大像素选择损失函数和最大梯度选择损失函数。
[0016]进一步地，所述步骤4中在第一阶段网络训练时，增强网络输入红外与可见光源图像，网络输出红外与可见光增强图像，训练结束后保存网络参数；第二阶段训练时，红外与可见光编码器直接调用第一阶段训练保存的网络参数，融合网络输入红外与可见光增强图像，输出融合图像。
[0017](三)有益效果
[0018]与现有技术相比，本专利技术提供了一种基于图像增强的夜间红外与可见光图像融合方法，具备以下有益效果：
[0019]本专利技术，设计无监督的增强网络，根据图像属性设计增强损失函数来驱动无参考的增强网络，解决了缺失参考图像的问题。
[0020]本专利技术，设计增强边缘损失函数、照度均匀损失函数和颜色平衡损失函数，提高融合图像的对比度，增强目标的边缘信息，提升图像的视觉效果。
[0021]本专利技术，在融合网络中采用多尺度的特征提取部分，利用不同内核大小的多个卷积层，可以捕获图像的多尺度深度特征。
[0022]本专利技术，特征提取部分中采用全局注意力模块，在捕获全局上下文信息后为重要通道分配更高权重，使图像中的显著性目标更加突出。
附图说明
[0023]图1为本专利技术一种基于图像增强的红外与可见光图像融合方法流程图；
[0024]图2为本专利技术增强网络的网路结构图；
[0025]图3为本专利技术增强网络中编码器的网络结构图；
[0026]图4为本专利技术增强网络中解码器的网络结构图；
[0027]图5为本专利技术融合网络的网络结构图；
[0028]图6为本专利技术融合网络中特征提取部分的网络结构图；
[0029]图7为本专利技术特征提取部分中全局注意力模块的网络结构图；
[0030]图8为本专利技术融合网络中图像重建部分的网络结构图；
[0031]图9为现有技术和本专利技术提出方法的相关指标对比图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]实施例1
[0034]如图1
‑
9所示，本专利技术一个实施例提出的一种基于图像增强的红外与可见光图像融合方法，该方法具体包括如下步骤：
[0035]步骤1，准备训练数据：选取夜间道路场景红外与可见光MRSR数据集，对源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：该方法具体包括如下步骤：步骤1，准备训练数据：选取夜间场景下红外与可见光图像数据集，对数据集进行预处理，构建网络训练数据集；步骤2，构建网络模型：网络模型包括增强网络和融合网络，增强网络包括红外编码器、可见光编码器、红外解码器和可见光解码器，源图像输入至增强网络得到增强图像；融合网络包括红外编码器、可见光编码器、红外特征提取部分、可见光特征提取部分和图像重建部分，增强图像经过编码器得到增强特征，增强特征经过特征提取部分进行进一步的特征提取，所有特征图在通道维度上连接，再输入至图像重建部分得到融合图像；步骤3，设计损失函数：根据图像属性设计增强损失函数来驱动无参考的图像增强网络；根据夜间场景特点设计融合损失函数来驱动图像融合网路；步骤4，训练网络模型：训练分为两个阶段，先训练增强网络，再训练融合网络；最小化网络损失函数，直到训练次数达到预设阈值或损失函数的值稳定在预设范围内，即认为网络模型训练完成，保存网络模型的参数；步骤5，确定融合模型：融合网络训练完成后，固定网络模型参数，确定该网络模型为最终的融合网络模型；之后需要进行红外与可见光图像融合操作时，直接将源图像输入至最终的融合网络中，即可得到融合图像。2.根据权利要求1所述的一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：所述步骤1中的数据集使用夜间道路场景数据集MRSR，其中图像预处理包括图像配准和尺寸裁剪，处理好的图像组成训练数据集。3.根据权利要求...

【专利技术属性】
技术研发人员：詹伟达，王佳乐，唐雁峰，郝子强，于永吉，
申请(专利权)人：长春理工大学重庆研究院，
类型：发明
国别省市：