一种基于特征嵌入的红外与可见光图像融合方法技术

本发明专利技术公开了一种基于特征嵌入的红外与可见光图像融合方法，通过构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；并利用ZCA白化对源图像特征信息进行预处理，得到源图像特征活动图；将源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图，最后通过源图像与权值图构建融合图像。本发明专利技术提高了红外与可见光图像融合在目标检测、目标跟踪、生物识别在像素特征互信息、差异相关、结构相似度、边缘保持指数以及基于噪声评估的融合性能五种常用图像融合质量评估上的有效性。用图像融合质量评估上的有效性。用图像融合质量评估上的有效性。

【技术实现步骤摘要】
一种基于特征嵌入的红外与可见光图像融合方法


[0001]本专利技术涉及红外图像与可见光融合，具体涉及一种基于特征嵌入的红外与可见光图像融合方法。

技术介绍

[0002]红外图像与可见光图像融合具有重要的意义。物体在恶劣光照或者伪装遮挡环境下无法只通过可见光图像来获取有用的信息。红外图像来源于红外传感器，红外传感器能够捕捉物体在辐射出的不同频率的电磁波，也被称为热辐射。与此同时，由于物体发出的热量几乎不受纹理的影响，红外图像也会丢失纹理细节信息。红外与可见光图像融合将不同传感器的互补信息生成为同一张图像，同时保留了红外图像的热辐射信息和可见光图像的纹理信息，被广泛应用于目标检测、目标跟踪、夜色视觉、生物识别等领域。
[0003]在红外与可见光图像融合任务中，特征的提取与使用方式极其关键，融合图像的质量直接受到特征处理方法的影响。现有的红外与可见光图像融合方法层出不穷。2018年，中国学者提出一种基于深度学习框架的融合方法。该方法先将源图像多尺度分解，再利用VGG网络提取图像不同层次的特征，分别与源图像分解得到的不同尺度进行加权融合。2019年，有研究人员提出一种利用残差网络提取源图像高层次特征并进行图像融合的方法。这些方法都能取得较为理想的结果，但是由于现有方法大多只使用源图像的单层次特征，或者是将不同层次的特征信息分开使用，这会导致在融合任务过程中源图像特征信息的利用不足。

技术实现思路

[0004]针对现有技术中的上述不足，本专利技术提供了一种基于特征嵌入的红外与可见光图像融合方法。
>[0005]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于特征嵌入的红外与可见光图像融合方法，包括以下步骤：S1、构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；S2、利用ZCA白化对步骤S1得到的源图像特征信息进行预处理，得到源图像特征活动图；S3、将步骤S2得到的源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图；S4、利用步骤S3得到的权值图与源图像构建融合图像。
[0006]该方案的有益效果为：引入自校准卷积提取图像的特征，将高层次特征嵌入低层次特征中，实现特征信息的互补，将源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图，再与源图像融合；既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息，
增强了在图像特征的保留、边缘信息保持以及重构图像噪声抑制。
[0007]进一步地，所述步骤S1具体包括以下分步骤：S11、在残差网络中嵌入自校准卷积，构建自校准卷积网络模型；S12、利用ImageNet训练集对步骤S11构建的自校准卷积网络模型进行预训练，得到训练后的自校准卷积网络模型；S13、利用步骤S12得到的训练后的自校准卷积网络模型对源图像进行特征提取，得到源图像特征图信息。
[0008]该进一步方案有益效果为：自校准卷积可以有效利用卷积滤波器的所有部分，通过校准操作融合两个不同空间尺度的信息，增加不同逻辑层的视野，使网络模型能够输出更具区别性的特征信息。
[0009]进一步地，所述步骤S2具体包括以下分步骤：S21、利用步骤S13得到的源图像特征图信息计算协方差矩阵，表示为：其中，为源图像特征图信息的转置矩阵，i为自校准卷积网络中卷积的层数，j为通道数，k为源图像；S22、对步骤S21得到的协方差矩阵进行奇异值分解，得到正交矩阵P，表示为：其中， P为大小的正交矩阵，为大小的对角矩阵，Q为大小的正交矩阵，为正交矩阵Q的转置矩阵；S23、利用步骤S22得到的正交矩阵P计算新的随机向量，表示为：其中，E为单位矩阵，为正交矩阵P的转置矩阵，为随机数；S24、利用步骤S23得到的新的随机向量对源图像特征信息进行处理，得到处理后的源图像特征信息，表示为：S25、根据步骤S24处理后的源图像特征信息，利用l1范数法计算初始源图像特征活动图；
S26、根据步骤S25中初始源图像特征活动图，利用基于块的平均运算符计算源图像特征活动图。
[0010]该进一步方案有益效果为：将源图像的原始特征投影到了相同的空间中，并且用ZCA白化对特征进行预处理，使得特征信息更易于分类与重构。
[0011]进一步地，所述步骤S25中初始源图像特征活动图表示为：其中，为l1范数，为矩阵中具体的像素点坐标。
[0012]该进一步方案有益效果为：使用l1范数将源图像特征信息降维，把多维的源图像特征信息转换成一张初始源图像特征活动图。
[0013]进一步地，所述步骤S26中源图像特征活动图表示为：其中，ω为决定块大小的参数。
[0014]该进一步方案有益效果为：提高源图像特征活动图的稀疏性，便于重构更具对比度和空间差异性更佳的图像。
[0015]进一步地，所述步骤S3具体包括以下分步骤：S31、利用双三次插值法将步骤S26得到的源图像特征活动图中高层次特征活动图尺寸放大至与低层次特征活动图尺寸相同；S32、将步骤S31中尺寸放大后高层次特征活动图与低层次特征活动图中元素逐项相乘，得到特征嵌入后的初始权值图；S33、利用步骤S32得到的初始权值图计算权值图。
[0016]该进一步方案有益效果为：使用双三次插值法对高层次特征活动图进行上采样，放大高层次特征活动图的尺寸大小。相较于“最近相邻”插值法和双线性插值法，双三次插值法能创造出更平滑的图像边缘。
[0017]进一步地，所述步骤S32中特征嵌入后的初始权值图表示为：
其中，bicubic（）为双三次插值函数。
[0018]该进一步方案有益效果为：将高层次特征嵌入低层次特征，实现特征信息的互补。
[0019]进一步地，所述步骤S33中权值图表示为：其中，k为源图像，I为红外图像，V为可见光图像。
[0020]该进一步方案有益效果为：经过多次处理计算，本专利技术得到的权值图相较于平均权值图和显著性权值图更佳合理，对于高质量的图像重构也更佳有效。
[0021]进一步地，所述步骤S4具体为：利用步骤S33得到的最终的权值图与源图像k构建融合图像，表示为：。
[0022]该进一步方案有益效果为：该融合图像既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息。
附图说明
[0023]图1为本专利技术提供的一种基于特征嵌入的红外与可见光图像融合方法的整体流程示意图；图2为本专利技术提供的一种基于特征嵌入的红外与可见光图像融合方法的整体结构示意图；图3为本专利技术中自校准卷积模块构建结构示意图；图4为本专利技术中步骤S1的分步骤流程示意图；图5为本专利技术中步骤S1基于自校准卷积网络提取源图像特征可视化示意图；图6为本专利技术中步骤S2的分步骤流程示意图；图7为本专利技术中步骤S3中将高层次特征活动图嵌入到低层次特征活动图示意图；图8为本专利技术中步骤S3的分步骤流程示意图；图9为本专利技术与另外9种现有方法关于“街道”的融合图像细节对比图。
具体实施方式
[0024]下面对本专利技术的具体实施方式进行描述，以便于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，包括以下步骤：S1、构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；S2、利用ZCA白化对步骤S1得到的源图像特征信息进行预处理，得到源图像特征活动图；S3、将步骤S2得到的源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图；S4、利用步骤S3得到的权值图与源图像构建融合图像。2.根据权利要求1所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S1具体包括以下分步骤：S11、在残差网络中嵌入自校准卷积，构建自校准卷积网络模型；S12、利用ImageNet训练集对步骤S11构建的自校准卷积网络模型进行预训练，得到训练后的自校准卷积网络模型；S13、利用步骤S12得到的训练后的自校准卷积网络模型对源图像进行特征提取，得到源图像特征图信息。3.根据权利要求2所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S2具体包括以下分步骤：S21、利用步骤S13得到的源图像特征图信息计算协方差矩阵，表示为：其中，为源图像特征图信息的转置矩阵，i为自校准卷积网络中卷积的层数，j为通道数，k为源图像；S22、对步骤S21得到的协方差矩阵进行奇异值分解，得到正交矩阵P，表示为：其中，P为大小的正交矩阵，为大小的对角矩阵，Q为大小的正交矩阵，为正交矩阵Q的转置矩阵；S23、利用步骤S22得到的正交矩阵P计算新的随机向量，表示为：其中，E为单位矩阵，为正交矩阵P的转置矩阵，为随机数；S24、利用步骤S23得到的新的随机向量对源图像特征信息进行处理，得到处
理后的源...

【专利技术属性】
技术研发人员：骆忠强，代金鹏，
申请(专利权)人：四川轻化工大学，
类型：发明
国别省市：