基于卷积神经网络的轻量化红外与可见光图像融合方法技术

本发明专利技术公开了基于卷积神经网络的轻量化红外与可见光图像融合方法，属于图像处理和计算机视觉领域。本发明专利技术方法先进行图像配准，然后根据可见光图像的平均亮度是否低于某阈值来判断是否进行增强网络EnhanceNet处理，再将可见光Y分量与灰度图格式的红外图像分别输入到融合网络FusionNet中得到融合结果Y

【技术实现步骤摘要】
基于卷积神经网络的轻量化红外与可见光图像融合方法


[0001]本专利技术涉及基于卷积神经网络的轻量化红外与可见光图像融合方法，属于图像处理和计算机视觉领域。

技术介绍

[0002]卷积神经网络长期以来是图像识别领域的核心算法之一，并在学习数据充足时有稳定的表现，对于一般的大规模图像分类问题，卷积神经网络可用于构建阶层分类器（hierarchical classifier），也可以在精细分类识别（fine
‑
grained recognition）中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过非监督学习自行提取。
[0003]评价轻量化指的是卷积神经网络的参数量小，学术界对于一个深度学习模型的参数量达到多小才能被称为轻量化并没有一个确切的、量化的定义，现在公认的轻量化卷积神经网络，比如MobileNet
‑
v1的参数量为4.2M；ShuffleNet V2的参数量为2M。
[0004]现有的红外与可见光图像融合方法都是针对正常光照条件下设计的，因此忽略了夜间可见光图像中光照退化的困难，具体来说，在弱光条件下，以往的融合方法只使用红外信息来填补可见光图像中由光照退化造成的场景缺陷。因此，夜间可见光图像中丰富的场景信息无法在融合图像中表达出来，这偏离了红外和可见光图像融合任务的初衷。
[0005]一个直观的解决方案是使用先进的弱光增强算法对可见光图像进行预增强，然后通过融合方法合并源图像，但是，将图像增强和图像融合作为单独的任务，往往会导致不兼容的问题，导致融合结果较差，主要原因是：夜间可见光图像本身就有轻微的颜色失真，而低光增强算法改变了光源的颜色分布，并在一定程度上放大了整个图像的颜色失真，此外，在融合过程中，由于在Y通道中采用的融合策略改变了源图像的饱和度分布，融合图像也会发生颜色失真。因此，有必要设计一个适用于夜间场景的融合方法，它能在保证模型轻量化与高实时性的同时，提高红外和可见光图像的融合效果，减少融合图像的噪声、色彩失真以及伪影等现象。

技术实现思路

[0006]为了解决上述
技术介绍
提到的技术问题，本专利技术提供了一种轻量化的、适用于低照度场景的红外与可见光图像融合卷积神经网络。本专利技术设计了一个增强网络，用于改善光照退化问题、优化图像亮度分布、增强对比度和纹理细节，它能够在不过分放大噪声的同时丰富融合图像中的可见光场景信息；此外，本专利技术的架构设计充分考虑了低光照图像增强与图像融合之间的内在联系，不仅减小了色彩失真，而且能够有效地将两个问题耦合在一起。
[0007]为了实现上述目的，本专利技术采取了如下技术方案：基于卷积神经网络的轻量化红外与可见光图像融合方法，包括如下步骤：S1：对同一场景下、在相近位置采集的一对红外图像与可见光图像进行图像配准，
使得二者的匹配点在空间上对齐；S2：将可见光图像由RGB格式转为YUV格式；S3：判断可见光图像的平均亮度是否低于某阈值，若是则用增强网络EnhanceNet对其Y分量进行低光照图像增强；否则直接进入下一步骤；S4：将经过增强或未经过增强的可见光Y分量与灰度图格式的红外图像分别输入到融合网络FusionNet的可见光分支与红外分支，经过处理后得到融合结果Y
’
；S5：将融合结果Y
’
与原来可见光图像的UV分量组成的YUV格式图像转为RGB格式，得到最终的融合图像。
[0008]在一种实施方式中，所述步骤S1中的图像配准具体流程为：用Canny算子提取边缘，然后用SURF算法检测两幅边缘图像的特征点，根据正确的匹配点对之间斜率（方向）一致性的先验知识，进行特征点匹配，最后用随机采样一致性RANSAC算法剔除误匹配点并估计用于坐标系变换的单应性矩阵，用该矩阵与其中一张待配准图像相乘并裁剪后得到与另一张图像对齐的结果；涉及到多模态配准的概念，因为可见光图像是RGB格式，而红外图像是灰度格式，这种情况比一般的图像配准更具有挑战性，本专利技术只考虑涉及到刚性变换的红外与可见光图像配准方法。
[0009]在一种实施方式中，所述步骤S2中是将所有像素的亮度值除以255，并按如下公式将RGB格式转换为YUV格式（更准确地说其实是YUV颜色空间家族中的YCbCr格式）：
[0010][0011][0012]在一种实施方式中，所述步骤S3需要用增强网络EnhanceNet对平均亮度较低的图像进行增强处理，而对于那些在光照条件较好时拍摄的图像则不做该处理。
[0013]在一种实施方式中，S3中的平均亮度，其中I
vi
表示可见光图像，H、W、C分别表示可见光图像的高、宽、通道数，若小于0.25，则用增强网络EnhanceNet对其Y分量进行低光照图像增强。
[0014]在一种实施方式中，所述增强网络EnhanceNet是一个用于低光照图像增强的轻量化卷积神经网络，结构非常紧凑而简单；所述增强网络EnhanceNet仅包含卷积层与残差连接，激活函数除了最后三个分支的输出层采用Tanh外其他层均采用ReLU。
[0015]在一种实施方式中，所述低光照图像是将其像素值归一化到之间后输入增强网络EnhanceNet，对于图像经过三个卷积层处理后的特征图，利用两个在同一层级上进行宽度拓展的多感受野卷积模块对其进行不同尺寸上的特征提取与特征聚合，然后将得到的特征图按通道维度拆分成三个分支，每个分支再进行两次卷积操作，最后通过Tanh激活函数输出用于调整图像像素值的五个亮度映射曲线参数图，分别为单通道的、、、、。
[0016]在一种实施方式中，所述多感受野卷积模块中，1*1卷积用于降维；一个分支上通过串联两个3*3卷积核来达到5*5的感受野；在同一层级上分出多个分支，分别用具有不同感受野大小的卷积核组合来对输入特征图进行特征提取，并以通道拼接的方式进行特征聚合，经过1*1卷积核的降维后与原来的特征图进行残差连接，得到最终的输出特征图。
[0017]在一种实施方式中，所述亮度映射曲线参数图是二维矩阵，用于对低光照图像的
亮度值进行非线性变换，其中：是关于输入图像的三次多项式的一个参数，迭代调用该三次多项式，可以构建一个更高阶的亮度映射曲线，该曲线用于将原始图像不同像素的亮度分别映射到新的亮度上，而高阶多项式具有更强的表达能力，使调整结果具有更高的动态范围；和分别用于对数变换与伽马变换；将输入的低光照图像经过、、亮度映射后的三张中间图用三个权重参数图、、进行加权求和，得到最终的增强图像。
[0018]在一种实施方式中，所述步骤S4中的融合网络FusionNet是一个完成红外与可见光图像融合的轻量化卷积神经网络，其网络结构由特征提取部分、融合操作与图像重建部分组成；所述特征提取部分由两个卷积层和一个残差卷积模块所构成，其中残差卷积模块由两个卷积层和一个残差连接所组成，特征提取部分的权重参数为红外分支与可见光分支所共享，参数共享有助于减小参数量和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于卷积神经网络的轻量化红外与可见光图像融合方法，其特征在于，包括以下步骤：S1：对同一场景下、在相近位置采集的一对红外图像与可见光图像进行图像配准，使得二者的匹配点在空间上对齐；S2：将可见光图像由RGB格式转为YUV格式；S3：判断可见光图像的平均亮度是否低于阈值，若是则用增强网络EnhanceNet对其Y分量进行低光照图像增强；否则直接进入下一步骤；S4：将经过增强或未经过增强的可见光Y分量与灰度图格式的红外图像分别输入到融合网络FusionNet的可见光分支与红外分支，经过处理后得到融合结果Y
’
；S5：将融合结果Y
’
与原来可见光图像的UV分量组成的YUV格式图像转为RGB格式，得到最终的融合图像。2.根据权利要求1所述的基于卷积神经网络的轻量化红外与可见光图像融合方法，其特征在于，步骤S3需要用增强网络EnhanceNet对平均亮度低于阈值的图像进行增强处理，否则不做该处理；所述增强网络EnhanceNet仅包含卷积层与残差连接，激活函数除了最后三个分支的输出层采用Tanh外其他层均采用ReLU。3.根据权利要求2所述的基于卷积神经网络的轻量化红外与可见光图像融合方法，其特征在于，所述步骤S3中低光照图像将其像素值归一化到之间后输入增强网络EnhanceNet，对于图像经过三个常规卷积层处理后的特征图，利用两个在同一层级上进行宽度拓展的多感受野卷积模块对其进行不同尺寸上的特征提取与特征聚合，然后将得到的特征图按通道维度拆分成三个分支，每个分支再进行两次卷积操作，最后通过Tanh激活函数输出用于调整图像像素值的五个亮度映射曲线参数图，分别为单通道的、、、、；所述多感受野卷积模块中，1*1卷积用于降维；一个分支上通过串联两个3*3卷积核来达到5*5的感受野；在同一层级上分出多个分支，分别用具有不同感受野大小的卷积核组合来对输入特征图进行特征提取，并以通道拼接的方式进行特征聚合，经过1*1卷积核的降维后与原来的特征图进行残差连接，得到最终的输出特征图；所述亮度映射曲线参数图是二维矩阵，用于对低光照图像的亮度值进行非线性变换，其中：是关于输入图像的三次多项式的一个参数，迭代调用该三次多项式；和分别用于对数变换与伽马变换；将输入的低光照图像经过、、亮度映射后的三张中间图用三个权重参数图、、进行加权求和，得到最终的增强图像。4.根据权利要求1所述的基于卷积神经网络的轻量化红外与可见光图像融合方法，其特征在于，所述步骤S4中的融合网络FusionNet是一个完成红外与可见光图像融合的轻量化卷积神经网络，其网络结构由特征提取部分、融合操作与图像重建部分组成；所述特征提取部分由两个卷积层和一个残差卷积模块所构成，其中残差卷积模块由两个卷积层和一个残差连接所组成，特征提取部分的权重参数为红外分支与可见光分支所共享，参数共享有助于减小参数量和引导卷积层学习红外图像与可见光图像之间的相似性；所述融合操作引入了压缩
‑
激励通道注意力机制，将红外分支与可见光分支输出的特征图按通道进行拼接，引出一个分支，先对其进行全局平均池化，使空间特征降维至1*1的尺寸，然后使用全连接
层
‑
ReLU...

【专利技术属性】
技术研发人员：彭成磊，洪宇宸，苏鸿丽，刘知豪，潘红兵，王宇宣，
申请(专利权)人：南京大学，
类型：发明
国别省市：