一种基于非全局预增强的红外图像与可见光图像融合方法技术

本发明专利技术涉及一种基于非全局预增强的红外图像与可见光图像融合方法，在红外光背景弱能量条件下，考虑图像局部空间的形态学，采用更适合红外图像结构的模糊处理方法，将图像分解为目标区域，过渡区域以及背景区域，对背景区域进行基于FPDE算法的直方图增强，通过重构得到一幅增强图像。针对红外光与可见光图像各特征之间的差异设计了一种基于期望值最大算法和主成分分析的混杂融合策略。与现有技术相比，本发明专利技术具有更好的融合性能。本发明专利技术具有更好的融合性能。本发明专利技术具有更好的融合性能。

【技术实现步骤摘要】
一种基于非全局预增强的红外图像与可见光图像融合方法


[0001]本专利技术涉及图像处理
，尤其是涉及一种基于非全局预增强的红外图像与可见光图像融合方法。

技术介绍

[0002]可见光相机通常能够感应波长在380nm～780nm之间的可见光波段，因而可见光图像具有较高的对比度、空间分辨率和丰富的细节信息，也更加符合人眼成像系统的感知，然而另一方面，可见光成像十分依赖良好的成像环境，光照差、烟雾和其他一些障碍均能轻易地对可见光成像造成显著的影响。
[0003]在学术界，多年来研究人员基于不同的数学理论提出了各种融合算法。图像融合将多源传感器采集到的关于同一目标的源图像经过算法处理，最大程度提取人们感兴趣的信息，综合成一幅利用率高的增强图像。图像融合的目的是将来自红外光传感器和可见光传感器的两组源图像，通过融合算法分配不同的权重，得到一幅真实场景图像，最终的图像包含来自源图像中人类最感兴趣的信息，即可见光源图像提供人眼可以感知到的信息，红外源图像提供具有高热辐射的互补信息。红外光与可见光图像融合是应用最广泛的一个分支，主要被应用于军事监测、医学成像系统和无人驾驶领域等。其关键问题是如何最大限度地融合来自不同传感器的信息，使融合后的单一图像可以产生最真实场景的效果。因此，图像融合技术的关键是让融合后的图像最大程度反映源图像的互补信息。
[0004]为了实现这一目标，国内外的学者提出了许多图像融合方法，根据这些算法的理论，主要可以划分为非多尺度方法和多尺度方法。基于多尺度变换的方法主要考虑图像的层次分布，比如Durga等人提出的基于四阶偏微分方程(FPDE)的图像融合算法，通过FPDE算法将图像分为高频部分和低频部分，高频部分包含图像中边缘等细节信息，低频部分包括背景信息。进而验证了基于主成分分析算法(PCA)的融合策略更适合高频区域的处理，低频区域采用平均权重可以更快的完成融合任务。此外还有Li等人提出了基于潜在低秩分解的图像融合算法(MDlatLRR)，小波变换，引导滤波，非下采样shearlet变换等算法应用在图像融合领域。基于多尺度变换的方法的共同点是在源图像提取变换域中感兴趣的特征，将图像分解为不同尺度的子图像，对这些子图像采用适合的融合决策，重构得到真实场景图像。与其对应的是基于非多尺度的图像融合方法，例如Liu等人提出的基于稀疏表示算法的图像融合方法(JSR)，通过一种显著性检测模型，从源图像中获得冗余区域和互补信息，通过稀疏系数计算出的显著图来引导图像融合。随着深度学习的快速发展，将深度学习算法与图像融合技术结合成为了研究热点，Li等人提出的级联卷积神经网络Densefuse算法，利用一种由卷积层、融合层和密集块组成的编码网络提取图像的特征信息，再由解码网络重构得到融合后图像，其中每层的输出跳跃输入至下一层。类似的基于深度学习框架的图像融合算法还有ResNet，CNN，VggML，IFCNN。此外，许多学者开创性的将对抗生成网络应用在图像融合任务，比如FusionGAN，DDcGAN，MFF
‑
GAN等。
[0005]由于在红外图像和可见光图像之间亮度响应存在巨大差异，光强较低的区域通常
具有极低的对比度，当它们的亮度不互补时，来自红外图像的细节可能会降低可见光图像中的原始感知信息，直接对两幅图像进行融合会使融合后的图像在非互补区域的可见度较差，因此对红外光图像信息进行对比度增强来说是非常必要的。例如在无人驾驶领域，夜间道路的坑、树及某些障碍在可见光图像中可能不会清晰的反映出来，这就需要红外光的协助，但是这些物体的热辐射信息并不会很强，所以为了以帮助辅助驾驶在恶劣的照明条件下更准确的避让，提高融合图像的可见度是很有必要的。
[0006]到目前为止，许多学者已经提出了各种非线性增强算法来解决图像在某些场景下对比度低的问题。然而，虽然红外光图像的背景区域对比度低，但是显著区域对比度很高，并不需要强化。若对整幅红外光图像采用全局统一式强化规则，强化后的某些区域会过度曝光，且红外光纹理部分会产生光晕现象。

技术实现思路

[0007]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于非全局预增强的红外图像与可见光图像融合方法。
[0008]本专利技术的目的可以通过以下技术方案来实现：
[0009]一种基于非全局预增强的红外图像与可见光图像融合方法，该方法包括下列步骤：
[0010]S1：基于FRFCM算法，对红外图像进行掩膜处理，获取红外图像的背景区域图像以及细节图像，并对可见光图像进行映射运算，获取可见光的目标区域。具体地：
[0011]基于FRFCM算法，采用无监督学习方式将红外图像分割为背景区域、过渡区域和细节部分三个基本区域，将背景区域的掩膜图像与红外源图像在像素级相乘，得到红外图像背景区域的提取图像，利用红外源图像与背景区域进行减法运算，获取目标区域的提取图像；利用原始红外的目标区域对可见光图像映射，将红外图像的背景区域的掩膜图像与可见光图像在像素级相乘，获取可见光图像背景区域的提取图像，将其与可见光源图像相减获取目标区域的提取图像。
[0012]S2：基于FPDE的二值化直方图对红外图像的背景区域进行增强处理。具体内容为：
[0013]采用FPDE作为引导分解算法，将原始红外图像分为基础层图像和细节层图像：
[0014]IR
b
＝FPDE(IR
original
)
[0015]IR
d
＝IR
original
‑
IR
b
[0016]式中，FPDE为对源图像做低通滤波的函数，IR
original
为原始红外图像，IR
b
为基础层图像，IR
d
为细节层图像；
[0017]按照下式对基础层图像IR
b
根据门限进行直方图二值化处理：
[0018]G＝(S
max
‑
S
min
)*β+S
min
[0019]式中，G为二值化直方图门限，S
max
和S
min
分别为基础层图像的直方图中的最大值与最小值，β为范围为0到1的参数，决定图像中无效像素值的比例。
[0020]S3：对可见光源图像和增强后的红外图像，分别根据人类对图像局部变换敏感的视觉特性，建立相应的FPDE能量泛函，将各图像分解为高频细节区域与低频背景区域。
[0021]S4：对低频的可见光图像和低频的红外图像获取低频分量的融合结果。具体地：
[0022]首先建立图像融合模型：
[0023]S
N
(X,j)＝α(X,j)S
N
(F,j)+β(X,j)+ε(X,j)
[0024]式中，X＝A或B表示红外传感器标记或可见光传感器标记；j＝(x,y)表示原图像X的像素点位置；S
N
(F,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，包括下列步骤：1)基于FRFCM算法，对红外图像进行掩膜处理，获取红外图像的背景区域图像以及细节图像，并对可见光图像进行映射运算，获取可见光的目标区域；2)基于FPDE的二值化直方图对红外图像的背景区域进行增强处理；3)对可见光源图像和增强后的红外图像，分别根据人类对图像局部变换敏感的视觉特性，建立相应的FPDE能量泛函，将各图像分解为高频细节区域与低频背景区域；4)对低频的可见光图像和低频的红外图像获取低频分量的融合结果；5)对高频的可见光图像和高频的红外图像获取高频分量的融合结果；6)将获取的低频分量的融合结果与高频分量的融合结果进行重构，获取最终的融合图像。2.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，步骤1)的具体内容为：基于FRFCM算法，采用无监督学习方式将红外图像分割为背景区域、过渡区域和细节部分三个基本区域，将背景区域的掩膜图像与红外源图像在像素级相乘，得到红外图像背景区域的提取图像，利用红外源图像与背景区域进行减法运算，获取目标区域的提取图像；利用原始红外的目标区域对可见光图像映射，将红外图像的背景区域的掩膜图像与可见光图像在像素级相乘，获取可见光图像背景区域的提取图像，将其与可见光源图像相减获取目标区域的提取图像。3.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，基于FPDE的二值化直方图对红外图像的背景区域进行增强处理的具体内容为：采用FPDE作为引导分解算法，将原始红外图像分为基础层图像和细节层图像：IR
b
＝FPDE(IR
original
)IR
d
＝IR
original
‑
IR
b
式中，FPDE为对源图像做低通滤波的函数，IR
original
为原始红外图像，IR
b
为基础层图像，IR
d
为细节层图像；按照下式对基础层图像IR
b
根据门限进行直方图二值化处理：G＝(S
max
‑
S
min
)*β+S
min
式中，G为二值化直方图门限，S
max
和S
min
分别为基础层图像的直方图中的最大值与最小值，β为范围为0到1的参数，决定图像中无效像素值的比例。4.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法，其特征在于，步骤4)的具体内容为：首先建立图像融合模型：S
N
(X,j)＝α(X,j)S
N
(F,j)+β(X,j)+ε(X,j)式中，X＝A或B表示红外传感器标记或可见光传感器标记；j＝(x,y)表示原图像X的像素点位置；S
N
(F,j)为融合后的低频图像在j处的像素值；α(X,j)＝
±
1或0为传感器的分布系数，表示各个传感器的参与积极程度；ε(X,j)表示随机噪声，服从K项混合高斯分布的概率密度函数：
式中，λ
k,X
(j)为K项高斯分布的权值，用以表征分布特征倾向于某种高斯分布的程度，(j)为K...

【专利技术属性】
技术研发人员：刘刚，张相博，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：