低光照环境下的可见光和红外图像融合增强方法及系统技术方案

本发明专利技术公开了一种低光照环境下的可见光和红外图像融合增强方法及系统，本发明专利技术方法包括将低光照环境下的可见光图像、红外图像进行融合，获得融合了可见光图像的纹理信息和红外图像中目标热度信息后的融合图像；将融合图像进行增强以去除光照强度的影响；将增强后的融合图像进行锐化以补偿图像的轮廓、增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度，最终得到融合输出图像。本发明专利技术能够实现可见光图像、红外图像两者互补的信息融合，提高低光照环境下的图像信息表达能力，削弱低光照等不良因素的负面影响，使融合图像最终的目标检测能力得到较大提升。检测能力得到较大提升。检测能力得到较大提升。

【技术实现步骤摘要】
低光照环境下的可见光和红外图像融合增强方法及系统


[0001]本专利技术涉及图像处理中的可见光和红外图像融合技术，具体涉及一种低光照环境下的可见光和红外图像融合增强方法及系统。

技术介绍

[0002]低光照环境是指特定的景物光亮度值、摄像机的镜头参数下，摄像机输出的视频信号幅值低于最大幅值的一定比例值(例如50％)，使得画面昏暗、层次不足。一般情况下，可见光图像是观测环境的最主要手段。在低光照环境下，可见光图像发挥的作用受到严重限制，例如画面昏暗、层次不足导致目标丢失，无法从中获取环境信息。可见光传感器能够捕获反射光信息，反映丰富的纹理和结构信息，但对环境很敏感，如光线或遮挡。红外图像能够反映物体自身的温度和比辐射率，突出物体的本征特征，不受光线影响。可见光与红外图像的双光融合可以将可见光的细节纹理和红外图像的突出目标信息融合起来。但是，对于低光照条件下，传感器采集的图像会引入不同种类和程度的噪声，红外图像的过宽动态范围现象十分明显，使黑暗区域因曝光不足成为黑色，导致融合图像视觉效果差，目标细节信息丢失多。
[0003]目前为止，已经有许多学者对图像融合和增强方法做了相关研究，在图像融合方面，基于深度学习的方法主要包括基于自动编码器、基于卷积神经网络和基于生成对抗网络。Wang等提出利用离散小波变换(DWT)+卷积神经网络(CNN)进行多焦距图像融合，DWT将图像分解为低频子带和高频子带。针对不同的频率子带，CNN产生不同的决策图进行融合。Ma等提出基于生成对抗网络的FusionGAN，通过生成器和判别器之间的对抗学习，进行红外图像热辐射信息和可见光纹理信息的取舍保留。然而，具有优秀图像质量的融合图像不一定适应高级视觉任务。因此出现了任务驱动的方法，2021年Tang等提出SeAFusion的融合方法，利用分割网络的语义损失反向传播来指导融合网络的训练，使用联合低级和高级特征的适应性训练策略，保持低水平和高水平视觉任务的平衡。目前，直接将目标检测任务与图像融合算法联合起来的方法较少，融合图像统计量评价指标单一。实际上图像融合的评价也需要目标任务的支撑，由视觉任务驱动，而不是与视觉任务脱节。在图像增强方面，主要包括直方图均衡图像增强算法、小波变换图像增强算法和基于Retinex理论的图像增强算法等。标准直方图均衡算法通过累积分布函数将原始图像映射为具有近似均匀灰度级分布的增强图像，实时性好，但亮度不均；小波变换图像增强算法通过增强小波系数可以有效地凸显图像中的细节信，但同时放大了噪声；Retinex图像增强算法通过去除原始图像中照度分量的影响，求解出了反映物体本质颜色的反射分量，但在亮度差异大的区域增强效果较差。

技术实现思路

[0004]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种低光照环境下的可见光和红外图像融合增强方法及系统，本专利技术能够实现可见光图像、红外图像两者互补
的信息融合，提高低光照环境下的图像信息表达能力，削弱低光照等不良因素的负面影响，使融合图像最终的目标检测能力得到较大提升。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种低光照环境下的可见光和红外图像融合增强方法，包括：
[0007]S1，将低光照环境下的可见光图像、红外图像进行融合，获得融合了可见光图像的纹理信息和红外图像中目标热度信息后的融合图像；
[0008]S2，将融合图像进行增强以去除光照强度的影响；
[0009]S3，将增强后的融合图像进行锐化以补偿图像的轮廓、增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度，最终得到融合输出图像。
[0010]可选地，步骤S2中将融合图像进行增强的函数表达式为：
[0011]r(x,y)＝logS(x,y)
‑
log[F(x,y)*S(x,y)][0012]上式中，r(x,y)为增强后的融合图像，S(x,y)为接收到的反射光图像，*为卷积符号，F(x,y)为中心环绕函数，(x,y)为像素点坐标，其中中心环绕函数的计算函数表达式为：
[0013][0014]上式中，λ为光的波长，c表示为高斯环绕尺度。
[0015]可选地，步骤S3包括：针对增强后的融合图像，比较邻域内中心像素灰度与其他像素的平均灰度，当中心像素灰度低于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步降低中心像素灰度；当中心像素灰度高于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步提高中心像素灰度。
[0016]可选地，步骤S1进行融合是指将低光照环境下的可见光图像、红外图像输入预先训练好的融合网络获得融合图像，所述融合网络包括两个特征提取分支和一个用于特征聚合和图像重建的解码器，低光照环境下的可见光图像、红外图像分别输入一个特征提取分支，其中：所述特征提取分支包括包含公共卷积层和至少一级梯度残差密集块，所述公共卷积层用于对输入的图像特征执行卷积核大小为3
×
3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以用于提取浅层特征；所述梯度残差密集块用于提取深层特征；所述解码器包括至少一级解码模块以及输出层，所述解码模块用于对输入的图像特征执行卷积核大小为3
×
3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以进行解码还原，所述输出层用于对输入的图像特征执行卷积核大小为1
×
1的卷积操作、批量归一化操作、采用Tanh激活函数进行激活以获得融合图像。
[0017]可选地，所述梯度残差密集块包括密集流支路和残差流支路，所述密集流支路包括采用密集连接的两个核大小为3
×
3的卷积层和一个核大小为1
×
1的公共卷积层，所述密集连接是指梯度残差密集块的输入特征分别作为两个卷积层和公共卷积层三者的输入，两个核大小为3
×
3的卷积层的输出分别作为公共卷积层的输入，所述残差流支路包括梯度算子和核大小为1
×
1的标准卷积层，梯度残差密集块的输入特征通过梯度算子计算得到梯度幅度，所述梯度幅度通过核大小为1
×
1的标准卷积层消除信道的尺寸差异后与密集流支路的输出求和后得到梯度残差密集块的输出特征。
[0018]可选地，步骤S1之前还包括训练融合网络，且训练融合网络时采用的损失函数为联合损失，且联合损失的函数表达式为：
[0019]L
joint
＝L
con
+βL
sem
[0020]上式中，L
joint
为联合损失，L
con
为融合网络的空间损失，β为语义损失权重，L
sem
为分割网络的语义损失；所述分割网络为语义分割模型，用于根据融合网络输出的融合图像进行语义分割以获得融合图像的语义分割结果。
[0021]可选地，所述分割网络包括空间注意力分支、通道注意力分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低光照环境下的可见光和红外图像融合增强方法，其特征在于包括：S1，将低光照环境下的可见光图像、红外图像进行融合，获得融合了可见光图像的纹理信息和红外图像中目标热度信息后的融合图像；S2，将融合图像进行增强以去除光照强度的影响；S3，将增强后的融合图像进行锐化以补偿图像的轮廓、增强图像的边缘及灰度跳变的部分，提高图像清晰度和对比度，最终得到融合输出图像。2.根据权利要求1所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，步骤S2中将融合图像进行增强的函数表达式为：r(x,y)＝logS(x,y)
‑
log[F(x,y)*S(x,y)]上式中，r(x,y)为增强后的融合图像，S(x,y)为接收到的反射光图像，*为卷积符号，F(x,y)为中心环绕函数，(x,y)为像素点坐标，其中中心环绕函数的计算函数表达式为：上式中，λ为光的波长，c表示为高斯环绕尺度。3.根据权利要求1所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，步骤S3包括：针对增强后的融合图像，比较邻域内中心像素灰度与其他像素的平均灰度，当中心像素灰度低于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步降低中心像素灰度；当中心像素灰度高于其他像素的平均灰度时，将增强后的融合图像的模板卷积结果加在原像素上以进一步提高中心像素灰度。4.根据权利要求1所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，步骤S1进行融合是指将低光照环境下的可见光图像、红外图像输入预先训练好的融合网络获得融合图像，所述融合网络包括两个特征提取分支和一个用于特征聚合和图像重建的解码器，低光照环境下的可见光图像、红外图像分别输入一个特征提取分支，其中：所述特征提取分支包括包含公共卷积层和至少一级梯度残差密集块，所述公共卷积层用于对输入的图像特征执行卷积核大小为3
×
3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以用于提取浅层特征；所述梯度残差密集块用于提取深层特征；所述解码器包括至少一级解码模块以及输出层，所述解码模块用于对输入的图像特征执行卷积核大小为3
×
3的卷积操作、批量归一化操作、采用LeakyReLU激活函数进行激活以进行解码还原，所述输出层用于对输入的图像特征执行卷积核大小为1
×
1的卷积操作、批量归一化操作、采用Tanh激活函数进行激活以获得融合图像。5.根据权利要求4所述的低光照环境下的可见光和红外图像融合增强方法，其特征在于，所述梯度残差密集块包括密集流支路和残差流支路，所述密集流支路包括采用密集连接的两个核大小为3
×
3的卷积层和一个核大小为1
×
1的公共卷积层，所述密集连接是指梯度残差密集块的输入特征分别作为两个卷积层和公共卷积层三者的输入，两个核大小为3
×
3的卷积层的输出分别作为公共...

【专利技术属性】
技术研发人员：魏俊宇，刘博坤，苏绍璟，左震，郭晓俊，孙晓永，童小钟，赵宗庆，胡柳顺，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：