【技术实现步骤摘要】
一种红外与可见光图像跨尺度注意力对抗融合方法及终端
[0001]本专利技术涉及基于人工智能的图像处理领域，具体涉及一种红外与可见光图像跨尺度注意力对抗融合方法及终端。
技术介绍
[0002]红外传感器通过感知热源辐射捕获前景目标信息，能够全天时全天候工作，但获得的红外图像通常缺乏结构特征和纹理细节。相反，可见光传感器通过光反射成像，能够获取场景信息和纹理细节，且具有较高的空间分辨率，但易受到外界环境影响，特别在低照度或遮挡情况下，缺乏感知目标特性能力。
[0003]由于不同的成像机制和工作模态，两类传感器获得的图像具有较强的互补信息。因此，图像融合技术旨在综合两类传感器的优势，有效提高两类成像传感器的协同探测能力，互补生成的融合图像更利于人眼观察和后续计算处理，在遥感探测、医疗诊断、智能驾驶、安全监控等领域有广泛应用。
[0004]目前，红外和可见光图像融合技术大致可以分为传统融合方法和深度学习融合方法。传统图像融合方法通常以固定数学表示模型提取图像特征，采用合适的融合规则进行特征整合，再通过逆变换重构获得最...
【技术保护点】
【技术特征摘要】
1.一种红外与可见光图像跨尺度注意力对抗融合方法，其特征在于，方法包括：S1、将待融合红外图像、待融合可见光图像输入预先训练好的跨模态跨尺度迭代生成器，直接生成最终的融合图像；通过跨模态跨尺度迭代生成器建立了双编码
‑
单解码网络框架，包括多尺度编码网络、初始融合层和跨尺度特征迭代解码网络；S2、通过多尺度编码网络采用的四个多尺度卷积模块，记作MCB1，MCB2，MCB3和MCB4，提取红外和可见光图像的多尺度深度特征，记为与；其中，；每个MCB包含两个卷积核大小为3
×
3的卷积层，相应的步长分别设置为1和2；S3、通过初始融合层将第四尺度的红外图像特征和可见光图像特征进行相加操作，得到初始融合特征，即；S4、通过跨尺度特征迭代解码网络采用的四个跨模态注意力集成模型，记作CAIM1，CAIM2，CAIM3和CAIM4，进行特征重构；其中，首先将第四尺度的红外图像特征、可见光图像特征和初始融合特征输入对应的跨模态注意力集成模型CAIM4，输出中间融合特征；然后，经过上采样后，作为上一尺度跨模态注意力集成模型CAIM3的初始融合特征，依次类推，最终输出融合图像。2.根据权利要求1所述的红外与可见光图像跨尺度注意力对抗融合方法，其特征在于，所述多尺度编码网络包括红外图像和可见光图像两个编码器路径，每个路径包含四个多尺度卷积模块，且每个模块中第一个卷积的输出通道数与第二个卷积的输入输出通道数相同，相应的步长分别为1和2；每个卷积模块的输入通道数分别为1、16、32、64，输出通道数为16、32、64、128，激活函数为PReLU。3.根据权利要求1所述的红外与可见光图像跨尺度注意力对抗融合方法，其特征在于，所述跨尺度特征迭代解码网络包含四个跨模态注意力集成模型，相应的输入通道分别为128、64、32、16，输出通道数分别为64、32、16、1，激活函数为PReLU。4.根据权利要求3所述的红外与可见光图像跨尺度注意力对抗融合方法，其特征在于，所述跨模态注意力集成模型包括通道注意力独立路径和空间注意力独立路径；在通道注意力独立路径中，对于输入的初始融合特征，首先使用最大和平均池化层分别将初始融合特征转换为初始通道注意力向量；然后，初始通道注意力向量通过两个卷积层和一个PReLU激活层后，进行通道连接输入下一个卷积层中，生成通道注意力向量，表示为
，其中，表示卷积运算，、和分别表示全局最大池化、平均池化操作和通道连接运算；表示PReLU激活函数；在空间注意力独立路径中，对于输入的初始融合特征，采用最大和平均池化操作来获得相应的初始空间注意力矩阵，然后将进行通道连接后输入一个卷积层中，产生空间注意矩阵，表示为；将通道注意力向量与空间注意力矩阵按元素化的方式进行相乘，得到初始融合特征的注意力特征...
【专利技术属性】
技术研发人员：田长超，秦利超，王志社，邵文禹，
申请(专利权)人：济南和普威视光电技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。