一种红外与可见光图像跨尺度注意力对抗融合方法及终端技术

本发明专利技术提供一种红外与可见光图像跨尺度注意力对抗融合方法及终端，涉及基于人工智能的图像处理领域，本发明专利技术在跨模态跨尺度迭代生成器中构造跨模态注意力集成模型，测量同一尺度的红外与可见光图像活动水平，输出中间融合特征能够以学习的方式整合不同模态图像的内在特征信息；利用跨模态注意力集成模型建立起不同尺度不同模态特征之间的桥梁，利用不同尺度模态特征信息，以迭代的方式不断优化不同尺度下的红外与可见光图像的活动水平；训练获得的跨模态跨尺度迭代生成器产生的融合结果能更聚焦红外目标感知和可见光细节描述，克服现有对抗融合方法不能随两类图像模态特征变化而自适应学习，导致融合性能不足的问题。导致融合性能不足的问题。导致融合性能不足的问题。

【技术实现步骤摘要】
一种红外与可见光图像跨尺度注意力对抗融合方法及终端


[0001]本专利技术涉及基于人工智能的图像处理领域，具体涉及一种红外与可见光图像跨尺度注意力对抗融合方法及终端。

技术介绍

[0002]红外传感器通过感知热源辐射捕获前景目标信息，能够全天时全天候工作，但获得的红外图像通常缺乏结构特征和纹理细节。相反，可见光传感器通过光反射成像，能够获取场景信息和纹理细节，且具有较高的空间分辨率，但易受到外界环境影响，特别在低照度或遮挡情况下，缺乏感知目标特性能力。
[0003]由于不同的成像机制和工作模态，两类传感器获得的图像具有较强的互补信息。因此，图像融合技术旨在综合两类传感器的优势，有效提高两类成像传感器的协同探测能力，互补生成的融合图像更利于人眼观察和后续计算处理，在遥感探测、医疗诊断、智能驾驶、安全监控等领域有广泛应用。
[0004]目前，红外和可见光图像融合技术大致可以分为传统融合方法和深度学习融合方法。传统图像融合方法通常以固定数学表示模型提取图像特征，采用合适的融合规则进行特征整合，再通过逆变换重构获得最终融合图像。事实上，从图像特点来看，红外图像以像素强度表征目标特征，而可见光图像以边缘和梯度表征纹理细节，两类图像表征模态信息存在较大差异。传统融合方法不考虑源图像的不同模态特征，采用固定数学模型无差别地提取图像特征，不可避免地造成融合性能低、视觉效果差的结果。此外，融合规则是人为设计，且越来越复杂，计算成本高，限制了图像融合的实际应用。
[0005]近年来，深度学习融合方法已经成为研究主流方向，其方法大致可分为自编码器融合方法、卷积神经网络融合方法和生成对抗融合方法。自编码器融合方法通常采用预先训练好的网络进行特征编码和解码，然后设计相应的特征融合层。这些方法需要手工设计融合策略，无法实现端到端融合。卷积神经网络融合方法是一种端到端模式，通常在输入阶段通道连接（Concatenate）源图像或在融合层通道连接深度特征。但通过简单的通道连接，没有充分考虑不同模态图像的内在特征，导致图像融合性能有限。生成对抗融合方法是在生成器和鉴别器之间建立对抗博弈，但生成器的框架类似于卷积神经网络融合模型，依然采用通道连接源图像或者深度特征。同时，这些方法还忽略了不同尺度的特征信息交互，不可避免地限制了融合性能。

技术实现思路

[0006]为了克服上述现有技术中的不足，本专利技术提供的红外与可见光图像跨尺度注意力对抗融合方法，融合方法可以随两类图像模态特征的变化而自适应地跨尺度特征学习，增强有用信息而抑制无关信息，进而提高红外与可见光图像的融合性能。
[0007]本专利技术提供的第一方面内容涉及红外与可见光图像跨尺度注意力对抗融合方法，方法包括：
S1、将待融合红外图像、待融合可见光图像输入预先训练好的跨模态跨尺度迭代生成器，直接生成最终的融合图像；通过跨模态跨尺度迭代生成器建立了双编码
‑
单解码网络框架，包括多尺度编码网络、初始融合层和跨尺度特征迭代解码网络；S2、通过多尺度编码网络采用的四个多尺度卷积模块，记作MCB1，MCB2，MCB3和MCB4，提取红外和可见光图像的多尺度深度特征，记为与；其中，；每个MCB包含两个卷积核大小为3
×
3的卷积层，相应的步长分别设置为1和2；S3、通过初始融合层将第四尺度的红外图像特征和可见光图像特征进行相加操作，得到初始融合特征，即；S4、通过跨尺度特征迭代解码网络采用的四个跨模态注意力集成模型，记作CAIM1，CAIM2，CAIM3和CAIM4，进行特征重构；其中，首先将第四尺度的红外图像特征、可见光图像特征和初始融合特征输入对应的跨模态注意力集成模型CAIM4，输出中间融合特征；然后，经过上采样后，作为上一尺度跨模态注意力集成模型CAIM3的初始融合特征，依次类推，最终输出融合图像。
[0008]本专利技术提供的第二方面内容涉及终端，终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现红外与可见光图像跨尺度注意力对抗融合方法的步骤。
[0009]从以上技术方案可以看出，本专利技术具有以下优点：1、本专利技术构造了跨模态注意力集成模型。初始融合特征通过通道注意力独立路径和空间注意力独立路径计算获得注意力权重系数，用于测量同一尺度的红外与可见光图像活动水平，采用加权平均运算输出中间融合特征。模型能够以学习的方式整合不同模态图像的内在特征信息。
[0010]2、本专利技术开发了跨尺度特征迭代解码网络。利用跨模态注意力集成模型建立起不同尺度不同模态特征之间的桥梁，以迭代的方式不断优化红外与可见光图像的活动水平。解码网络能够充分利用不同尺度特征信息，使得融合结果更聚焦红外目标感知和可见光细节描述。
[0011]3、本专利技术提出了一种端到端的红外与可见光图像对抗融合方法。得益于跨模态特征整合和跨尺度迭代设计，生成器包含更少的卷积层，且不需要跳过连接和通道增加，网络模型简单而有效，具有更高的计算效率和更好的融合性能。该方法也可以应用于多模态图像、多聚焦图像和医学图像融合，对图像融合领域具有很高的应用价值。
Convolutional Block），记作MCB1，MCB2，MCB3和MCB4，提取红外和可见光图像的多尺度深度特征，记为与，其中，。每个MCB包含两个卷积核大小为3
×
3的卷积层，相应的步长分别设置为1和2。
[0021]其中，多尺度编码网络包括红外图像和可见光图像两个编码器路径，每个路径包含四个多尺度卷积模块，且每个模块中第一个卷积的输出通道数与第二个卷积的输入输出通道数相同。每个卷积模块的是输入通道数分别为1、16、32、64，输出通道数为16、32、64、128，激活函数为PReLU。
[0022]S3，通过初始融合层将第四尺度的红外图像特征和可见光图像特征进行相加操作，得到初始融合特征，即。
[0023]S4，通过跨尺度特征迭代解码网络采用的四个跨模态注意力集成模型（Cross
‑
modal Attention Integrated Module），记作CAIM1，CAIM2，CAIM3和CAIM4，进行特征重构，其中，首先将第四尺度的红外图像特征、可见光图像特征和初始融合特征输入对应的跨模态注意力集成模型（CAIM4），输出中间融合特征。然后，经过上采样后，作为上一尺度跨模态注意力集成模型（CAIM3）的初始融合特征，依次类推，最终输出融合图像。
[0024]其中，跨尺度特征迭代解码网络包含四个跨模态注意力集成模型，相应的输入通道分别为128、64、32、16，输出通道数分别为64、32、16、1，激活函数为PReLU。
[0025]可选地，跨模态注意力集成模型，包括通道注意力独立路径和空间注意力独立路径。在通道注意力独立路径中，对于输入的初始融合特征，首先使用最大和平均池化层分别将初始融合特征转换为初始通道注意力向量。然后，初始通道注意力向量通过两个卷积层和一个PRe本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外与可见光图像跨尺度注意力对抗融合方法，其特征在于，方法包括：S1、将待融合红外图像、待融合可见光图像输入预先训练好的跨模态跨尺度迭代生成器，直接生成最终的融合图像；通过跨模态跨尺度迭代生成器建立了双编码
‑
单解码网络框架，包括多尺度编码网络、初始融合层和跨尺度特征迭代解码网络；S2、通过多尺度编码网络采用的四个多尺度卷积模块，记作MCB1，MCB2，MCB3和MCB4，提取红外和可见光图像的多尺度深度特征，记为与；其中，；每个MCB包含两个卷积核大小为3
×
3的卷积层，相应的步长分别设置为1和2；S3、通过初始融合层将第四尺度的红外图像特征和可见光图像特征进行相加操作，得到初始融合特征，即；S4、通过跨尺度特征迭代解码网络采用的四个跨模态注意力集成模型，记作CAIM1，CAIM2，CAIM3和CAIM4，进行特征重构；其中，首先将第四尺度的红外图像特征、可见光图像特征和初始融合特征输入对应的跨模态注意力集成模型CAIM4，输出中间融合特征；然后，经过上采样后，作为上一尺度跨模态注意力集成模型CAIM3的初始融合特征，依次类推，最终输出融合图像。2.根据权利要求1所述的红外与可见光图像跨尺度注意力对抗融合方法，其特征在于，所述多尺度编码网络包括红外图像和可见光图像两个编码器路径，每个路径包含四个多尺度卷积模块，且每个模块中第一个卷积的输出通道数与第二个卷积的输入输出通道数相同，相应的步长分别为1和2；每个卷积模块的输入通道数分别为1、16、32、64，输出通道数为16、32、64、128，激活函数为PReLU。3.根据权利要求1所述的红外与可见光图像跨尺度注意力对抗融合方法，其特征在于，所述跨尺度特征迭代解码网络包含四个跨模态注意力集成模型，相应的输入通道分别为128、64、32、16，输出通道数分别为64、32、16、1，激活函数为PReLU。4.根据权利要求3所述的红外与可见光图像跨尺度注意力对抗融合方法，其特征在于，所述跨模态注意力集成模型包括通道注意力独立路径和空间注意力独立路径；在通道注意力独立路径中，对于输入的初始融合特征，首先使用最大和平均池化层分别将初始融合特征转换为初始通道注意力向量；然后，初始通道注意力向量通过两个卷积层和一个PReLU激活层后，进行通道连接输入下一个卷积层中，生成通道注意力向量，表示为
，其中，表示卷积运算，、和分别表示全局最大池化、平均池化操作和通道连接运算；表示PReLU激活函数；在空间注意力独立路径中，对于输入的初始融合特征，采用最大和平均池化操作来获得相应的初始空间注意力矩阵，然后将进行通道连接后输入一个卷积层中，产生空间注意矩阵，表示为；将通道注意力向量与空间注意力矩阵按元素化的方式进行相乘，得到初始融合特征的注意力特征...

【专利技术属性】
技术研发人员：田长超，秦利超，王志社，邵文禹，
申请(专利权)人：济南和普威视光电技术有限公司，
类型：发明
国别省市：