基于多尺度区域注意力机制的双光融合方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于多尺度区域注意力机制的双光融合方法、装置及设备，该方法利用编码网络分别提取红外和可见光图像的特征，利用分类网络分别提取红外图像和可见光图像具有判别性的特征，编码网络、分类网络将提取到的特征送入融合模块得到融合后的特征，最后将融合后的特征送入解码网络以得到重建的融合图像。为提升融合效果、加速融合速度，本发明专利技术设计了基于多尺度区域注意力机制的融合策略，对于融合图像的显示、后续全天候的图像感知任务具有一定实用价值。具有一定实用价值。具有一定实用价值。

【技术实现步骤摘要】
基于多尺度区域注意力机制的双光融合方法、装置及设备


[0001]本专利技术属于图像处理
，具体涉及一种基于多尺度区域注意力机制的双光融合方法、装置及设备。

技术介绍

[0002]由于成像设备硬件限制，单一类型的传感器无法全面的表征成像场景。例如可见光图像通常包含丰富的纹理细节信息，但是却容易受天气和光线的影响丢失场景中的目标。与之相反，红外图像表征了物体散发的热辐射信息，能有效的突出行人、车辆等显著目标，但缺乏对场景的细节描述。双光融合技术则是为了将这些互补的信息融合到单一的图像中。
[0003]传统的图像融合算法通常在空间域或变换域测量图像的活动水平并手动设计融合规则来实现图像的融合。传统的图像融合框架主要基于多尺度变换、稀疏表达、子空间、显著性、变分模型等。这些传统的图像融合算法取得了一些成果，但仍存在一些阻碍其进一步发展的难题。近年来，深度学习以其强大的特征提取和表达能力主导了计算机视觉的发展，同样也开始在图像融合领域呈不可阻挡发展之势。根据所采用的网络架构不同，基于深度学习的融合算法可以划分为三类：基于自编码器(Auto
‑
Encoder,AE)、卷积神经网络(Convolution Neural Network,CNN)和生成对抗网络(Generative Adversarial Network,GAN)。
[0004]基于自编码器的图像融合框架通常在大规模自然图像数据集上训练一个自编码器用于特征提取和图像重建。然后使用人为设计的融合策略融合编码网络提取的深度特征作为解码网络输入。还有部分学者致力于设计更复杂、更具可解释性的融合策略以提升融合效果。
[0005]但是上述算法均生成与图像等大的像素级显著图并执行重要性评估是十分耗时的。此外，人们往往更容易被图像中梯度和纹理信息强的区域吸引，而很少关注平滑的背景区域，整图像素级的显著图反而会引入不必要的噪声影响融合图像质量。

技术实现思路

[0006]本专利技术的目的在于克服现有技术中的至少一种缺陷，提供了一种基于多尺度区域注意力机制的双光融合方法、装置及设备，致力于在融合的时候更多的关注红外和可见光具有判别性的互补区域，在提高融合速度的同时减少背景噪声。
[0007]本专利技术的技术方案是这样实现的：本专利技术公开了一种基于多尺度区域注意力机制的双光融合方法，包括如下步骤：
[0008]S1)获取可见光图像以及与其配准的红外图像，并将可见光图像、红外图像均输入到编码网络和分类网络；
[0009]S2)编码网络分别提取可见光图像和红外图像的特征，并输出第一可见光特征图、第一红外特征图；分类网络分别提取红外图像和可见光图像中判别性特征，并输出第二可
见光特征图、第二红外特征图；
[0010]S3)融合第一可见光特征图、第一红外特征图、第二可见光特征图和第二红外特征图得到最终融合特征图后输出给解码网络；
[0011]S4)解码网络将最终融合特征图进行图像重建，得到融合图像。
[0012]进一步地，步骤S1)前还包括构建并训练自编码器步骤，自编码器包括编码网络和解码网络，编码网络包括多个依次连接的编码模块，编码网络内头、尾的编码模块均包括依次连接的卷积层、激活层，编码网络内其余的编码模块均包括依次连接的卷积层、激活层、池化层，所述解码网络包括多个依次连接的解码模块，解码网络内头、尾的解码模块均包括依次连接的卷积层、激活层，解码网络内其余的解码模块均包括依次连接的反卷积层、激活层。
[0013]进一步地，在编码网络引入密集连接，具体包括：将编码网络中每个具有池化层的编码模块的输出均与其后所有编码模块的输入连接。
[0014]进一步地，在编码网络与解码网络之间加入跨层连接，具体包括：将编码网络中每个具有池化层的编码模块的输出分别与解码网络中对应的解码模块的输入连接。
[0015]进一步地，自编码器的损失函数为：
[0016]L＝L
pixel
+γL
gradient
[0017]L
pixel
＝||X
‑
Y||2[0018][0019]其中，L
pixel
为像素分布，L
gradient
为梯度分布，γ是损失平衡因子，X和Y分别表示输入图像和预测图像，和分别表示对输入图像和预测图像的求梯度。
[0020]进一步地，步骤S3)具体包括：获取分类网络中多个卷积模块分别输出的多个第二可见光特征图和多个第二红外特征图，将分类网络中所述的多个卷积模块的其中一个卷积模块作为主卷积模块，将其余的一个或多个卷积模块作为辅助卷积模块，分别对第二可见光特征图、第二红外特征图进行处理，得到可见光概率图和红外概率图，分别对各可见光概率图和红外概率图进行取阈值操作，得到可见光区域概率图和红外区域概率图，将多个可见光区域概率图分别与第一可见光特征图进行点乘操作，得到多个可见光加权特征图，将多个红外区域概率图分别与第一红外特征图进行点乘操作，得到多个红外加权特征图，将各可见光加权特征图与对应的红外加权特征图进行相加操作，得到多个融合特征图，将多个融合特征图进行合并，得到最终融合特征图；
[0021]将多个融合特征图进行合并，具体包括：针对关键信息区域，对多个融合特征图的融合特征求平均值，作为最终融合特征图的融合结果，针对非关键信息区域，则采用主卷积模块对应的融合特征图的融合特征作为最终融合特征图的融合结果。
[0022]进一步地，针对主卷积模块对应的可见光概率图和红外概率图，对其进行取阈值操作时，保留大于阈值t的所有概率，将小于阈值t的概率置为t，针对辅助卷积模块对应的可见光概率图和红外概率图，对其进行取阈值操作时，只保留阈值大于t的所有概率，将小于阈值t的概率置0。
[0023]进一步地，将多个融合特征图进行合并，具体包括：针对主卷积模块对应的融合特征图上位于阈值大于t的部分，对多个融合特征图的融合特征求平均值，作为最终融合特征
图的融合结果，针对主卷积模块对应的融合特征图上位于阈值小于t的部分，则采用主卷积模块对应的融合特征图的融合特征作为最终融合特征图的融合结果。
[0024]进一步地，将分类网络中所述的多个卷积模块的最后一个卷积模块作为主卷积模块，将其余的一个或多个卷积模块作为辅助卷积模块。
[0025]进一步地，对第二可见光特征图以及第二红外特征图进行处理，具体包括：将第二可见光特征图、第二红外特征图分别上采样到与可见光图像以及与其配准的红外图像等大，并进行指数归一化得到可见光概率图和红外概率图。
[0026]本专利技术还公开了一种基于多尺度区域注意力机制的双光融合装置，包括：
[0027]编码网络模块，用于接收可见光图像以及与其配准的红外图像，并分别提取可见光图像和红外图像的特征，输出第一可见光特征图、第一红外特征图给融合模块；
[0028]分类网络模块，用于接收可见光图像以及与其配准的红外图像，并分别提取红外本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度区域注意力机制的双光融合方法，其特征在于，包括如下步骤：S1)获取可见光图像以及与其配准的红外图像，并将可见光图像、红外图像均输入到编码网络和分类网络；S2)编码网络分别提取可见光图像和红外图像的特征，并输出第一可见光特征图、第一红外特征图；分类网络分别提取红外图像和可见光图像的特征，并输出第二可见光特征图、第二红外特征图；S3)融合第一可见光特征图、第一红外特征图、第二可见光特征图和第二红外特征图得到最终融合特征图后输出给解码网络；S4)解码网络将最终融合特征图进行图像重建，得到融合图像。2.如权利要求1所述的基于多尺度区域注意力机制的双光融合方法，其特征在于：步骤S1)前还包括构建并训练自编码器步骤，自编码器包括编码网络和解码网络，编码网络包括多个依次连接的编码模块，编码网络内头、尾的编码模块均包括依次连接的卷积层、激活层，编码网络内其余的编码模块均包括依次连接的卷积层、激活层、池化层，所述解码网络包括多个依次连接的解码模块，解码网络内头、尾的解码模块均包括依次连接的卷积层、激活层，解码网络内其余的解码模块均包括依次连接的反卷积层、激活层。3.如权利要求2所述的基于多尺度区域注意力机制的双光融合方法，其特征在于：在编码网络引入密集连接，具体包括：将编码网络中每个具有池化层的编码模块的输出均与其后所有编码模块的输入连接；在编码网络与解码网络之间加入跨层连接，具体包括：将编码网络中每个具有池化层的编码模块的输出分别与解码网络中对应的解码模块的输入连接。4.如权利要求2所述的基于多尺度区域注意力机制的双光融合方法，其特征在于：自编码器的损失函数为：L＝L
pixel
+γL
gradient
L
pixel
＝||X
‑
Y||2其中，L
pixel
为像素分布，L
gradient
为梯度分布，γ是损失平衡因子，X和Y分别表示输入图像和预测图像，和分别表示对输入图像和预测图像的求梯度。5.如权利要求1所述的基于多尺度区域注意力机制的双光融合方法，其特征在于：步骤S3)具体包括：获取分类网络中多个卷积模块分别输出的多个第二可见光特征图和多个第二红外特征图，将分类网络中所述的多个卷积模块的其中一个卷积模块作为主卷积模块，将其余的一个或多个卷积模块作为辅助卷积模块，分别对第二可见光特征图、第二红外特征图进行处理，得到可见光概率图和红外概率图，分别对各可见光概率图和红外概率图进行取阈值操作，得到可见光区域概率图和红外区域概率图，将多个可见光区域概率图分别与第一可见光特征图进行点乘操作，得到多个可见光加权...

【专利技术属性】
技术研发人员：黄晟，刘慧敏，田鹏，杜帅，周向，
申请(专利权)人：轩辕智驾科技深圳有限公司，
类型：发明
国别省市：