一种低照度下的可见光与红外图像融合方法技术

本发明专利技术公开了一种低照度下的可见光与红外图像融合方法，用设计好的非线性映射函数对低照度下的可见光自适应的进行整体增强，得到增强后的可见光图像并用导向滤波器进一步去噪；接着对红外图像以及增强后的可见光图像分别进行非下采样剪切波分解，依次分解为低频子带与高频子带；采用自适应双通道脉冲耦合卷积神经网络对高频子带进行融合，低频子带采用直觉模糊集构建高斯隶属度函数进行融合；最后通过非下采样剪切波逆变换得到融合图像。本发明专利技术使图像在低照度情况下也能达到很好的融合视觉效果,与其他的图像融合算法相比，在不过度增强的情况下，既能增强低照度图像的亮度及对比度，又能使图像的细节部分更加显著，使图像有着良好的视觉效果。有着良好的视觉效果。有着良好的视觉效果。

【技术实现步骤摘要】
一种低照度下的可见光与红外图像融合方法


[0001]本专利技术属于图像处理
，具体涉及一种低照度下的可见光与红外图像融合方法。

技术介绍

[0002]早在20世纪70年代已经出现图像融合技术，图像融合是门综合性技术学科，它融合了传感器、人工智能理论以及影像处理等多领域。1979年Daily等人首次将雷达影像与陆地资源卫星的多光谱影像进行融合，开辟了影像融合的先河，此后Burt P J首次用拉普拉斯金字塔对双筒望远镜进行融合，此后大家陆续将多尺度分解应用到图像融合中去，随着科技的发展以及技术的需求，小波变换等的提出使得图像融合进入了一个新的历史阶段。近年来，图像融合技术的发展与应用已成为信息融合和图像处理领域不可分割的部分，也在目标识别、生物识别、军事监视、遥感、医学影像等领域得到了广泛的应用。随着传感器和深度学习的发展，单一图像存在诸多问题具有局限性，为了获取更广泛的信息，多源图像融合已经渐渐取代单一图像的工作方式，在图像处理和图像增强领域占据主导地位。图像融合主要分为两种，即同一传感器的多次成像图像的融合(如多聚焦图像融合和多曝光图像融合等)以及不同传感器获得的多源图像的融合，如红外与可见光图像的融合，计算机断层扫描(CT)影像和磁共振(MRI)影响到融合等。图像融合旨通过一定的融合规则来综合不同传感器成像的优点，目的是提高信息利用率，减少冗余，获得更有价值的信息，从而更精确的表示信息，减少噪声与伪影的引入。
[0003]Burt等人首次将拉普拉斯金字塔变换用于双眼融合，金字塔变换概念的提出，开辟了多尺度分析方法应用在图像融合领域的先河，此后高斯金字塔、拉普拉斯金字塔，可操纵金字塔等相继被提出。如为了保留源图像中视觉感知最相关的细节，Toet等人提出对比度金字塔的融合方法来突出人眼对对比信号敏感这一优点。随后在20世纪90年代中期，一种新的MSA工具小波变换开始应用于图像融合领域。如齐海生等人提出基于双数复小波变换对图像进行分解，为了有效的抑制噪声，在高频系数融合规则中引入引导滤波器。考虑到金字塔没有方向性，Hunstberger等将小波作为基函数。虽然小波变换有良好的融合效果，但对于高维图像不更很好的捕捉方向信息，故Martin Vetterli提出一种更高效的多分辨方法即Contourlet变换。由于轮廓波变换存在冗余且不具有平移不变性，故去掉轮廓波变换中的上采样和下采样过程，提出一种更灵活且具有平移不变特性的非下采样轮廓波变换(NSCT)，和剪切波变换(NSST)，其中NSCT相较于非下采样剪切波计算更复杂。如高永光等将图像质量评价指标用来参与融合规则的选择，并且来自适应控制NSCT分解层数。Chen等人提出一种基于奇异值分解和自适应PCNN的非下采样剪切波域可见光与红外图像融合框架，低频部分用改进的平均梯度来激励自适应PCNN且用基于局部奇异值分解的LSI作为自适应链接强度来消除伪影。还有其他的多尺度融合方法，基于多尺度分析方法由以前的单一融合方法发展到现在广泛应用的，将基于多尺度分析方法与深度学习相结合的混合融合方法。
[0004]现有技术目前仍存在低照度下可见光可视性差，对比度和分辨率低，色彩层次不明显等问题。

技术实现思路

[0005]为了解决上述
技术介绍
提到的技术问题，本专利技术提供了一种低照度下的可见光与红外图像融合方法。
[0006]为了实现上述技术目的，本专利技术的技术方案为：
[0007]一种低照度下的可见光与红外图像融合方法，包括以下步骤：
[0008]S1，对低照度下可见光图像进行归一化处理，得到图像I；
[0009]S2，对图像I分别采用自适应对数和指数变换函数进行变换，得到两个增强图像I1和I2；
[0010]S3，将两个增强图像进行加权平均得到增强后的可见光图像并利用引导滤波器去噪；
[0011]S4，将红外图像与增强后的可见光图像分别进行非下采样剪切波分解，分别得到红外图像的低频子带和各级高频子带以及增强后的可见光图像的低频子带和各级高频子带；
[0012]S5，采用直觉模糊集构建高斯隶属度函数融合规则对红外图像和增强后的可见光图像的低频子带融合，得到融合后的低频分量；
[0013]S6，采用双通道自适应脉冲耦合神经网络模型对红外图像和增强后的可见光图像的高频子带进行融合，得到融合后的高频分量；
[0014]S7，对融合后得到的高频和低频分量，进行非下采样剪切波逆变换，输出重构后的融合图像。
[0015]优选地，所述步骤S1中归一化处理具体为将低照度下可见光图像中像素点的像素值从[0,255]归一化到[0,1]区间内。
[0016]优选地，所述步骤S2中自适应对数、指数变换函数表示如下：
[0017][0018]其中I为归一化处理后的可见光图像，I1和I2分别为图像I经过自适应对数、指数变换函数处理后的图像；γ为图像像素值参数。
[0019]优选地，所述图像像素值参数γ跟随像素点的明暗程度改变大小，表示为：γ＝5
I/255
‑
1/2
。
[0020]优选地，所述步骤S3中增强后的可见光图像如下式所示：
[0021]out(x,y)＝(1
‑
w)I1(x,y)+wI2(x,y)
[0022]其中(x,y)为像素点位置，w为权重系数，取值为图像I的像素平均值，I1(x,y)和I2(x,y)分别为自适应对数、指数变换函数处理后的图像；out(x,y)为像素点(x,y)位置处增强后得到的可见光图像。
[0023]优选地，所述步骤S4中首先利用非下采样塔式滤波器组完成对红外图像和增强后的可见光图像的多尺度分解，得到红外图像的低频子带系数和高频子带系数以及增强后的
可见光图像的低频子带系数和高频子带系数，将红外图像和增强后的可见光图像的高频子带系数通过非下采样方向滤波器组进行多方向分解，将红外图像和增强后的可见光图像的低频子带系数通过非下采样方向滤波器组进行多尺度分解，得到红外图像的低频子带和各级高频子带以及增强后的可见光图像的低频子带和各级高频子带。
[0024]优选地，所述步骤S5具体包括以下步骤：
[0025]步骤1、利用柯西模糊函数构建红外图像的隶属函数和非隶属函数；
[0026]步骤2、根据直觉模糊集概念，得出犹豫度π(i,j)为：
[0027]π(i,j)＝1
‑
X
IR
(i,j)
‑
Y
IR
(i,j)
[0028]式中，X
IR
(i,j)为隶属函数，Y
IR
(i,j)为非隶属函数；
[0029]步骤3、对犹豫度采取加权平均的方式进行分配，分别得到红外图像与增强后的可见光图像的低频分量权值系数，其中红外图像低频分量权值系数X(i,j)为：
[0030][0031]增强后的可见光图像的低频分量权值系数Y(i,j)为：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低照度下的可见光与红外图像融合方法，其特征在于，包括以下步骤：S1，对低照度下可见光图像进行归一化处理，得到图像I；S2，对图像I分别采用自适应对数和指数变换函数进行变换，得到两个增强图像I1和I2；S3，将两个增强图像进行加权平均得到增强后的可见光图像并利用引导滤波器去噪；S4，将红外图像与增强后的可见光图像分别进行非下采样剪切波分解，分别得到红外图像的低频子带和各级高频子带以及增强后的可见光图像的低频子带和各级高频子带；S5，采用直觉模糊集构建高斯隶属度函数融合规则对红外图像和增强后的可见光图像的低频子带融合，得到融合后的低频分量；S6，采用双通道自适应脉冲耦合神经网络模型对红外图像和增强后的可见光图像的高频子带进行融合，得到融合后的高频分量；S7，对融合后得到的高频和低频分量，进行非下采样剪切波逆变换，输出重构后的融合图像。2.根据权利要求1所述一种低照度下的可见光与红外图像融合方法，其特征在于，所述步骤S1中归一化处理具体为将低照度下可见光图像中像素点的像素值从[0,255]归一化到[0,1]区间内。3.根据权利要求1所述一种低照度下的可见光与红外图像融合方法，其特征在于，所述步骤S2中自适应对数、指数变换函数表示如下：其中I为归一化处理后的可见光图像，I1和I2分别为图像I经过自适应对数、指数变换函数处理后的图像；γ为图像像素值参数。4.根据权利要求3所述一种低照度下的可见光与红外图像融合方法，其特征在于，所述图像像素值参数γ跟随像素点的明暗程度改变大小，表示为：γ＝5
I/255
‑
1/2
。5.根据权利要求1所述一种低照度下的可见光与红外图像融合方法，其特征在于，所述步骤S3中增强后的可见光图像如下式所示：out(x,y)＝(1
‑
w)I1(x,y)+wI2(x,y)其中(x,y)为像素点位置，w为权重系数，取值为图像I的像素平均值，I1(x,y)和I2(x,y)分别为自适应对数、指数变换函数处理后的图像；out(x,y)为像素点(x,y)位置处增强后得到的可见光图像。6.根据权利要求1所述一种低照度下的可见光与红外图像融合方法，其特征在于，所述步骤S4中首先利用非下采样塔式滤波器组完成对红外图像和增强后的可见光图像的多尺度分解，得到红外图像的低频子带系数和高频子带系数以及增强后的可见光图像的低频子带系数和高频子带系数，将红外图像和增强后的可见光图像的高频子带系数通过非下采样方向滤波器组进行多方向分解，将红外图像和增强后的可见光图像的低频子带系数通过非下采样方向滤波器组进行多尺度分解，得到红外图像的低频子带和各级高频子带以及增强后的可见光图像的低频子带和各级高频子带。7.根据权利要求1所述一种低照度下的可见光与红外图像融合方法，其特征在于，所述步骤S5具体包括以下步骤：
步骤1、利用柯西模糊函数构建红外图像的隶属函数和非隶属函数；步骤2、根据直觉模糊集概念，得出犹豫度π(i,j)为：π(i,j)＝1
‑
X
IR
(i,j)
‑
Y
IR
(i,j)式中，X
IR
(i,j)为隶属函数，Y
IR
(i,j)为非隶属函数；步骤3、对犹豫度采取加权平均的方式进行分配，分别得到红外图像与增强后的可见光图像的低频分量权值系数，其中红外图像低频分量权值系数X(i,j...

【专利技术属性】
技术研发人员：李昌利，陈雨，
申请(专利权)人：河海大学，
类型：发明
国别省市：