一种红外与可见光图像融合方法技术

本发明专利技术涉及一种红外与可见光图像融合方法，该方法如下：输入经过严格配准后的一张红外图像与一张可见光图像，将红外图像与可见光图像分别分解为一个低频分量和四个高频分量；基于红外信息的区域平均能量的方法对红外图像与可见光图像的低频分量进行融合；基于区域对比度与平均梯度的方法融合不同尺度不同方向的高频分量；将低频分量融合图像和高频分量融合图像进行逆变换得到融合图像。本发明专利技术得到的融合图像既包含了可见光图像的边缘及纹理细节信息，又包含了红外图像的突出的热目标的信息。信息。

【技术实现步骤摘要】
一种红外与可见光图像融合方法


[0001]本专利技术属于多光谱图像处理
，具体涉及一种红外与可见光图像融合的方法。

技术介绍

[0002]图像融合是一种增强技术，旨在组合由不同类型的传感器获得的图像，以生成信息丰富、目标突出的图像，便于后续处理或帮助决策。红外与可见光图像融合在许多方面是相对优越的。可见光图像捕获反射光，通常具有高空间分辨率和相当大的细节及明暗对比，适合于人类视觉感知。然而这些图像很容易受到严苛条件的影响，例如光线不足、雾气和恶劣天气等其他影响；红外图像捕获热辐射，能够抵抗这些干扰，但具有低分辨率和很差的纹理。红外与可见光图像能够呈现几乎所有目标物体中固有的特征，因此，这种组合比单模态信号更具信息性，能够产生稳健且信息丰富的融合图像。
[0003]在过去的几十年中，多尺度变换在红外和可见光图像融合等领域都很有效。多尺度变换可以将原始图像分解为不同尺度的分量，其中每个分量代表每个尺度的子图像，而现实世界的对象通常包含不同尺度的分量。一些研究表明，多尺度变换与人类视觉特征一致，这种特性可以使融合图像具有良好的视觉效果。通常，基于多尺度变换的红外与可见光图像融合方案包含三个步骤：首先，将每个源图像分解为一系列多尺度表示；然后，根据给定的融合规则融合源图像的多尺度表示；最后，使用融合表示上的对应逆多尺度变换来获取融合图像。基于多尺度变换的融合方案的关键在于选择变换和融合规则。常见的多尺度变换有金字塔变换、小波变换、非下采样轮廓波变换、边缘保留滤波器等。但这些方法会受到分解方向、平移不变性等因素的影响，对融合结果造成一定的偏差。之后，Easley提出了非下采样剪切波变换(NSST)，运算效率较之前有了极大的提升，而且方向性更强，具有平移不变性等优点，受到了研究人员的关注。
[0004]图像融合的另一关键问题是融合规则的选择。传统的融合规则是高频取绝对值最大法，低频取平均法进行融合。这种融合规则会导致部分信息不突出以及边缘模糊等问题。陈俊等人在低频采用通过红外图像控制权重并引入正则化的方法，保证了红外图像中突出目标的保留。但在高频执行通用的绝对值最大规则进行融合，边缘相对模糊。孔维维在低频采用区域平均能量的融合策略，高频采用区域对比度的融合策略。充分考虑到了区域之间的关联性，但某些细节信息不突出。

技术实现思路

[0005]本专利技术要解决的技术问题是提供一种红外与可见光图像融合方法，该方法能够充分融合红外与可见光图像，得到的图像既包含可见光图像的边缘及纹理细节信息，又包含红外图像的突出的热目标的信息。
[0006]为了解决上述技术问题，本专利技术的红外与可见光图像融合方法如下：
[0007]输入经过严格配准后的一张红外图像与一张可见光图像，将红外图像与可见光图
像分别分解为一个低频分量和四个高频分量；
[0008]将红外图像与可见光图像的低频分量进行融合，方法如下：
[0009]分别计算红外图像与可见光图像每个像素所在M
×
N区域内的平均能量，M＝N＝3；
[0010]根据下式计算出红外图像与可见光图像低频分量的对应像素点的相似度：
[0011][0012]其中E
I
(i，j)表示红外图像低频分量像素点(i，j)所在M
×
N区域内的平均能量，E
V
(i，j)表示可见光图像低频分量像素点(i，j)所在M
×
N区域内的平均能量，M
D
(i，j)表示红外图像低频分量像素点(i，j)与可见光图像低频分量像素点(i，j)之间的相似度；
[0013]若M
D
(i，j)＜T，则
[0014][0015]若M
D
(i，j)≥T，则
[0016]F
D
(i，j)＝ω(i，j)
×
I
I
(i，j)+(1
‑
ω(i，j))
×
I
V
(i，j)
[0017]其中F
D
(i，j)表示低频分量融合图像在像素点(i，j)处的像素值，T为设定的阈值，ω(i，j)为决定红外图像与可见光图像低频分量像素值比重的权值；I
I
(i，j)为红外图像低频分量在像素点(i，j)处的的像素值，I
V
(i，j)为可见光图像低频分量在像素点(i，j)处的像素值；
[0018][0019][0020]其中，P
I
(i，j)为红外图像低频分量在像素点(i，j)处的像素值归一化值，λ为设定的非线性因子；
[0021]采用基于区域对比度与平均梯度结合的方法将红外图像与可见光图像的各方向高频分量分别进行融合；
[0022]将低频分量融合图像和高频分量融合图像进行逆变换得到融合图像。
[0023]所述的红外图像与可见光图像中每个像素所在M
×
N区域内的平均能量计算公式如下：
[0024][0025][0026]其中，E
I
(i，j)表示红外图像中以像素点(i，j)为中心M
×
N区域内的平均能量，表示红外图像低频分量在像素点(i+a，j+b)处的能量；E
V
(i，j)表示可见光图像中以像素点(i，j)为中心M
×
N区域内的平均能量，表示可见光图像低频分量在像素点(i+a，j+b)处的能量。
[0027]进一步，所述的阈值T优选T＝0.9。
[0028]所述的红外图像与可见光图像的各尺度高频分量分别进行融合的方法如下：
[0029]分别计算出红外图像与可见光图像高频分量各像素点的区域平均梯度G
I
(i，j)、G
V
(i，j)；
[0030]分别计算红外图像和可见光图像高频分量各像素点的区域对比度C
I
(i，j)、C
V
(i，j)；
[0031]计算红外图像在像素点(i，j)处区域对比度与平均梯度的联合U
I
(i，j)和可见光图像在像素点(i，j)处区域对比度与平均梯度的联合U
V
(i，j)；
[0032]U
I
(i，j)＝G
I
(i，j)
×
C
I
(i，j)
[0033]U
V
(i，j)＝G
V
(i，j)
×
C
V
(i，j)
[0034]根据下述公式对红外图像与可见光图像的各尺度高频分量分别进行融合：
[0035][0036]其中F
G
(i，j)表示高频分量融合图像在像素点(i，j)处的像素值；J
I
(i，j)、J
V
(i，j)分别为红外图像高频分量在像素点(i，j)处的像素值与可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外与可见光图像融合方法，其特征在于该方法如下：输入经过严格配准后的一张红外图像与一张可见光图像，将红外图像与可见光图像分别分解为一个低频分量和四个高频分量；将红外图像与可见光图像的低频分量进行融合，方法如下：分别计算红外图像与可见光图像每个像素所在M
×
N区域内的平均能量，M＝N＝3；根据下式计算出红外图像与可见光图像低频分量的对应像素点的相似度：其中E
I
(i，j)表示红外图像低频分量像素点(i，j)所在M
×
N区域内的平均能量，E
V
(i，j)表示可见光图像低频分量像素点(i，j)所在M
×
N区域内的平均能量，M
D
(i，j)表示红外图像低频分量像素点(i，j)与可见光图像低频分量像素点(i，j)之间的相似度；若M
D
(i，j)＜T，则若M
D
(i，j)≥T，则F
D
(i，j)＝ω(i，j)
×
I
I
(i，j)+(1
‑
ω(i，j))
×
I
V
(i，j)其中F
D
(i，j)表示低频分量融合图像在像素点(i，j)处的像素值，T为设定的阈值，ω(i，j)为决定红外图像与可见光图像低频分量像素值比重的权值；I
I
(i，j)为红外图像低频分量在像素点(i，j)处的的像素值，I
V
(i，j)为可见光图像低频分量在像素点(i，j)处的像素值；值；其中，P
I
(i，j)为红外图像低频分量在像素点(i，j)处的像素值归一化值，λ为设定的非线性因子；采用基于区域对比度与平均梯度结合的方法将红外图像与可见光图像的各方向高频分量分别进行融合；将低频分量融合图像和高频分量融合图像进行逆变换得到融合图像。2.根据权利要求1所述的红外与可见光图像融合方法，其特征在于所述的红外图像与可见光图像中每个像素所在M
×
N区域内的平均能量计算公式如下：N区域内的平均能量计算公式如下：其中，E
I
(i，j)表示红外图像中以像素点(i，j)为中心M
×
N区域内的平均能量，表示红外图像低频分量在像素点(i+a，j+b)处的能量；E
V
(i，j)表示可见光图像中以像素点(i，j)为中心M
×
N区域内的平均能量，表示可见光图像低频分量在像素点(i+a，j+b)处的能量。
3.根据权利要求1所述的红外与可见光图像融合方法，其特征在于所述的阈值T＝0.9。4.根据权利要求1所述的红外与可见光图像融合方法，其特征在于所述的红外图像与可见光图像的各尺度高频分量分别进行融合的方法如下：分别计算出红外图像与可见光图像高频分量各像素点的区域平均梯度G
I
(i，j)、G
V
(i，j)；分别计算红外图像和可见光图像高频分量各像素点的区域对比度C
I
(i，j)、C
V
(i...

【专利技术属性】
技术研发人员：韩希珍，刘媛媛，曲锋，邢政权，王海伟，彭佳琦，
申请(专利权)人：苏州东方克洛托光电技术有限公司，
类型：发明
国别省市：