一种基于图像增强的夜间红外与可见光图像融合方法技术

本发明专利技术属于图像处理及机器视觉技术领域，尤其为一种基于图像增强的夜间红外与可见光图像融合方法，该方法具体包括如下步骤：步骤1，准备训练数据：选取夜间场景下红外与可见光图像数据集，对数据集进行预处理，构建网络训练数据集。本发明专利技术，设计无监督的增强网络，根据图像属性设计增强损失函数来驱动无参考的增强网络，解决了缺失参考图像的问题，设计增强边缘损失函数、照度均匀损失函数和颜色平衡损失函数，提高融合图像的对比度，增强目标的边缘信息，提升图像的视觉效果，在融合网络中采用多尺度的特征提取部分，利用不同内核大小的多个卷积层，可以捕获图像的多尺度深度特征。可以捕获图像的多尺度深度特征。可以捕获图像的多尺度深度特征。

【技术实现步骤摘要】
一种基于图像增强的夜间红外与可见光图像融合方法


[0001]本专利技术涉及图像处理及机器视觉
，具体为一种基于图像增强的夜间红外与可见光图像融合方法。

技术介绍

[0002]图像融合将同一场景的多模态图像进行整合，生成信息更丰富、细节更清晰的融合图像。在夜晚场景中，不均匀的灯光导致可见光图像照度不均匀；此外，不均匀的灯光还会导致可见光图像出现颜色失真的问题；得益于红外图像特殊的获取原理，其不受灯光变化、恶劣天气的影响，可以突出显著性目标；因此，红外与可见光图像融合是图像融合领域中不可或缺的一部分，融合结果可以应用于目标识别、安防监控、目标跟踪等领域；然而，现有的针对夜间场景下的图像融合的方法存在以下问题：源图像不进行预处理直接进行融合，使得融合图像存在对比度低、照度不均匀、颜色失真和目标边缘模糊等问题。
[0003]中国专利公开号为“CN107481214A”，名称为“一种微光图像与红外图像融合方法”；该方法针对同一场景采集微光图像和红外图像，接下来对采集来的源图像进行去噪声处理；利用基于边缘特征的图像配准方法将去噪声后的微光与红本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：该方法具体包括如下步骤：步骤1，准备训练数据：选取夜间场景下红外与可见光图像数据集，对数据集进行预处理，构建网络训练数据集；步骤2，构建网络模型：网络模型包括增强网络和融合网络，增强网络包括红外编码器、可见光编码器、红外解码器和可见光解码器，源图像输入至增强网络得到增强图像；融合网络包括红外编码器、可见光编码器、红外特征提取部分、可见光特征提取部分和图像重建部分，增强图像经过编码器得到增强特征，增强特征经过特征提取部分进行进一步的特征提取，所有特征图在通道维度上连接，再输入至图像重建部分得到融合图像；步骤3，设计损失函数：根据图像属性设计增强损失函数来驱动无参考的图像增强网络；根据夜间场景特点设计融合损失函数来驱动图像融合网路；步骤4，训练网络模型：训练分为两个阶段，先训练增强网络，再训练融合网络；最小化网络损失函数，直到训练次数达到预设阈值或损失函数的值稳定在预设范围内，即认为网络模型训练完成，保存网络模型的参数；步骤5，确定融合模型：融合网络训练完成后，固定网络模型参数，确定该网络模型为最终的融合网络模型；之后需要进行红外与可见光图像融合操作时，直接将源图像输入至最终的融合网络中，即可得到融合图像。2.根据权利要求1所述的一种基于图像增强的夜间红外与可见光图像融合方法，其特征在于：所述步骤1中的数据集使用夜间道路场景数据集MRSR，其中图像预处理包括图像配准和尺寸裁剪，处理好的图像组成训练数据集。3.根据权利要求...

【专利技术属性】
技术研发人员：詹伟达，王佳乐，唐雁峰，郝子强，于永吉，
申请(专利权)人：长春理工大学重庆研究院，
类型：发明
国别省市：