基于特征块分割分离的红外和可见光图像融合方法、系统技术方案

本发明专利技术公开了基于特征块分割分离的红外和可见光图像融合方法、系统，该方法包括：根据红外和可见光成像特点设计两种图像增强方式，并使用SIFT算法快速分离出主次特征块；设计一个能够根据特征信息量自适应调节网络输出的融合网络，并对融合网络进行主要特征和次要特征的多任务训练，使得网络能够服务于两种任务；对融合后的主次特征块图像块进行拼接操作，通过柏松融合消除拼接细缝，获得显著特征突出的红外和可见光融合图像。本发明专利技术对主要特征图像融合块和次要特征图像融合块的融合结果表现出显著特征区域明显的特点，能够提升后续处理算法的效率和精度，使得本发明专利技术较最先进的融合算法表现出更为出色的结果可读性。的融合算法表现出更为出色的结果可读性。的融合算法表现出更为出色的结果可读性。

【技术实现步骤摘要】
基于特征块分割分离的红外和可见光图像融合方法、系统


[0001]本专利技术涉及计算机、软件类
，具体涉及基于特征块分割分离的红外和可见光图像融合方法、系统。

技术介绍

[0002]红外图像能够克服恶劣工作环境的影响，通过获取目标热辐射的工作特点使得成像图像无需考虑环境的反射光强度。但红外图像仅能对目标轮廓进行描述，成像结果缺乏纹理细节。因此包含丰富细节信息，却受限于环境光线的可见光图像是红外图像极佳的互补对象。经过融合后的图像能够克服单一传感器的局限性和结合两种图像的优点。在高层视觉处理任务的应用上，如分割、跟踪和检测，融合图像能够提升后续算法的效果。
[0003]为了获得更高质量的融合结果，研究人员结合多领域的方法提升融合质量。包括传统方法和基于深度学习的方法。在简单应用场景中多使用传统的像素级图像融合算法，如多尺度变换、稀疏表示、显著图、等混合方法。但传统方法需手工指定融合规则的局限性使得无法应对高层视觉任务中多变的融合对象。因此，研究人员通过构建端对端的深度学习网络模型来解决这个问题。尽管多种方法取得优秀的融合结果，但现有的融合算法倾向于追求更好的整体视觉质量，优先考虑人的可读性。而图像融合作为高层视觉任务的预处理模块，希望融合结果在后续处理算法上表现出高解释性。融合算法需要从高层视觉任务的需求出发设计网络。高层视觉任务的需求希望融合网络能够突出主要特征区域和弱化次要背景特征区域，以识别更多的显著目标。这要求对于主要特征区域和次要特征区域，融合网络应采取针对性的融合策略。然而，现有的融合算法通常采用同样的融合策略。这使得网络在训练过程中的收敛产生二义性。
[0004]针对这个问题，多种划分显著区域的融合算法被提出。有研究人员通过交叉比对原始图像所有像素来提取主要特征区域。然而，由于融合网络并没有为红外图像和可见光图像设计各自的主要特征区域提取方案，其相同的策略影响了显著目标提取效果。为此一种基于显著目标提取和低照度区域增强的红外与可见光图像融合方法被提出。研究人员根据红外图像和可见光图像不同的视觉特性设计各自的提取策略。通过比较原始图像每个像素与背景的强度定义强度显著性以此来提取显著目标。然而，由于融合规则需要手动定制和多噪点原始图像会极大干扰显著目标的提取效果的缺点，不适合应用在高层视觉任务中。为解决这个问题，针对高层视觉任务特点设计融合任务的方法被提出。研究人员提出一种使用基于目标感知的双对抗学习的融合网络模型TarDAL，通过使用两个目标感知判别器区分红外图像热目标和可见光图像背景纹理细节。其轻量化网络的特点使得TarDAL能够较好的部署在高层视觉任务中。然而TarDAL对于显著区域的提取来源单一，依赖于红外图像的成像效果。对于复杂多变的场景很难准确提取目标的显著区域。

技术实现思路

[0005]本专利技术所要解决的技术问题：提供基于特征块分割分离的红外和可见光图像融合
方法、系统，将图像融合重心集中资源于主要特征，从高层视觉任务的需求出发设计网络，最大程度的保留源图像的主要特征，在对后续图像处理算法的效果有着促进作用。
[0006]本专利技术为解决以上技术问题而采用以下技术方案：
[0007]本专利技术提出的基于特征块分割分离的红外和可见光图像融合方法，包括：
[0008]S1、根据红外和可见光成像特点设计两种图像增强方式，并使用SIFT算法快速分离，得到主要特征块和次要特征块。
[0009]S2、在融合网络中并行融合主要特征块和次要特征块中的空间信息和纹理细节信息，得到主要特征图像融合块和次要特征图像融合块，并采用多任务的方式对两种图像融合块进行训练。
[0010]融合网络能够自适应根据特征图像的潜在贡献度而调整网络结构以更好的服务主次特征块的融合任务。
[0011]S3、利用柏松融合对训练后的主要特征图像融合块和次要特征图像融合块进行拼接并消除拼接细缝，获得显著特征突出的红外和可见光融合图像。
[0012]进一步的，步骤S1中，得到主要特征块和次要特征块的具体步骤如下：
[0013]S101、对红外图像进行图像增强的具体内容为：
[0014]红外图像成像特征为目标热辐射的强度，这使得红外图像在成像图像中表现出目标轮廓明显的特点。为提取到更多的目标，使用边缘检测算法对红外图像进行图像增强；使用高斯滤波器对红外图像中的潜在噪声进行过滤，具体步骤为：
[0015][0016]其中，G(x,y)表示高斯函数，σ表示高斯滤波器的标准差。
[0017]使用Sobel算子计算红外图像中每个像素的梯度幅值和方向，以便找到可能的边缘位置，具体公式为：
[0018][0019]其中，G
x
和G
y
分别表示水平和垂直方向上的梯度值，I表示输入图像。
[0020]通过抑制非极大值，在红外图像中寻找局部梯度最大值的位置，并将其视为潜在边缘，具体抑制公式为：
[0021][0022]其中，Δx和Δy表示梯度方向，分别取值为0、
±
1。
[0023]由于潜在边缘可能包含噪声，将梯度幅值分为两个阈值确定需要的边缘，具体公式为：
[0024]If G(x y)≥Th the point is a strong edge point
[0025]If Tl≤G(x y)＜Th the point is a weak edge point
[0026]If G(x y)＜Tl the point is a nonedge point
[0027]其中，T
h
＝0.2G
max
，T
l
＝0.1G
max
，G
max
为梯度幅值的最大值。
[0028]对可见光图像进行图像增强的具体内容为：
[0029]可见光图像成像依赖于环境光的质量。暗光和高曝光环境都会极大的影响细节的质量，因此通过将图像转换到频域，使用带通滤波器过滤低频和高频部分以此来实现图像增强。利用二维傅里叶变换，将可见光图像转换到频域；将频域中零频率分量移到频谱的中心，并计算幅值谱，具体公式为：
[0030]f
mp
＝20
·
log
10
(|f|)
[0031]其中，f表示转换到频域的图像，f
mp
表示幅值谱。
[0032]对幅值谱进行高通滤波，保留高频信息，具体公式为：
[0033]f
hp
＝f
mp
·
H(u,v)
[0034]其中，H(u,v)表示高通滤波器的传递函数，f
hp
表示保留高频信息的图像。
[0035]对滤波后的图像进行反傅里叶变换，再进行阈值处理得到最终的可见光图像预处理，阈值处理的具体公式为：
[0036][0037]其中，FFT()表示快速傅里叶变换函数，I
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于特征块分割分离的红外和可见光图像融合方法，包括：S1、根据红外和可见光成像特点设计两种图像增强方式，并使用SIFT算法快速分离，得到主要特征块和次要特征块；S2、在融合网络中并行融合主要特征块和次要特征块中的空间信息和纹理细节信息，得到主要特征图像融合块和次要特征图像融合块，并采用多任务的方式对两种图像融合块进行训练；S3、利用柏松融合对训练后的主要特征图像融合块和次要特征图像融合块进行拼接并消除拼接细缝，获得显著特征突出的红外和可见光融合图像。2.根据权利要求1所述的基于特征块分割分离的红外和可见光图像融合方法，其特征在于，步骤S1中，得到主要特征块和次要特征块的具体步骤如下：S101、对红外图像进行图像增强的具体内容为：使用边缘检测算法对红外图像进行图像增强；使用高斯滤波器对红外图像中的潜在噪声进行过滤，具体步骤为：其中，G(x,y)表示高斯函数，σ表示高斯滤波器的标准差；使用Sobel算子计算红外图像中每个像素的梯度幅值和方向，具体公式为：其中，G
x
和G
y
分别表示水平和垂直方向上的梯度值，I表示输入图像；通过抑制非极大值，在红外图像中寻找局部梯度最大值的位置，并将其视为潜在边缘，具体抑制公式为：其中，Δx和Δy表示梯度方向；将梯度幅值分为两个阈值，确定需要的边缘，具体公式为：If G(x y)≥Th the point is a strong edge pointIf Tl≤G(x y)＜Th the point is a weak edge pointIf G(x y)＜Tl the point is a nonedge point其中，T
h
＝0.2G
max
，T
l
＝0.1G
max
，G
max
为梯度幅值的最大值；对可见光图像进行图像增强的具体内容为：利用二维傅里叶变换，将可见光图像转换到频域；将频域中零频率分量移到频谱的中心，并计算幅值谱，具体公式为：f
mp
＝20
·
log
10
(|f|)其中，f表示转换到频域的图像，f
mp
表示幅值谱；对幅值谱进行高通滤波，保留高频信息，具体公式为：
f
hp
＝f
mp
·
H(u,v)其中，H(u,v)表示高通滤波器的传递函数，f
hp
表示保留高频信息的图像；对滤波后的图像进行反傅里叶变换，再进行阈值处理得到最终的可见光图像预处理，阈值处理的具体公式为：其中，FFT()表示快速傅里叶变换函数，I
vis
表示输出可见光图像；S102、利用SIFT算法分别对经过预处理后的红外和可见光图像进行特征点的标注；S103、根据标注后图像上的特征点的分布将图像分割为主要特征块和次要特征块。3.根据权利要求2所述的基于特征块分割分离的红外和可见光图像融合方法，其特征在于，步骤S103中，根据特征点的分布进行图像分割的具体内容为：将特征点密集分布的区域视为主要特征区域，对该区域内的特征点进行分簇操作；使用大小可调整的移动窗口遍历图像，当窗口内特征点大于或等于阈值时，对该特征点进行分割作为主要特征块Q
i
，阈值的计算公式为：其中，η为阈值，h和w为图像的高和宽；重复遍历多次，直到窗口内无法包含更多的特征点；此时，分割后的原始图像剩下的区域为次要特征块。4.根据权利要求1所述的基于特征块分割分离的红外和可见光图像融合方法，其特征在于，步骤S2中，训练主要特征图像融合块和次要特征图像融合块的具体步骤为：S201、使用多层卷积层对主要特征块和次要特征块进行特征提取，在多层卷积中并联多个梯度算子模块，并使用1
×
1正则卷积层消除通道维度差异；在卷积层尾部加入梯度计算模块输出和卷积层输出，每层卷积层的输出表示为：其中，RELU为激活函数，BN为批归一化函数，Conv为卷积函数，S...

【专利技术属性】
技术研发人员：孙乐，李宇航，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：