【技术实现步骤摘要】
本专利技术涉及多模态图像融合领域，特别涉及一种在transformer、cnn结构中加入特征融合部分并通过cbam注意力模块进行特征融合，增强融合多模态特征的能力的一种多模态图像融合方法。
技术介绍
1、在当代多模态图像融合领域，提升多模态图像特征的提取能力一直是热门问题。然而，传统的多模态图像融合方法往往面临着特征提取不充分、特征融合效果不佳等问题。为了克服这些问题，多层次跨模态协同特征编码器结构结合了transformer擅长处理长距离依赖关系和全局信息，能够捕捉到图像中的全局特征和复杂的上下文关系和cnn擅长捕捉局部特征和细节的优势，并引入cbam注意力机制，以提升在复杂环境下的鲁棒性和生成图像的质量，使生成图像更加多样化和真实。
2、在多模态融合领域，cnn以其出色的特征提取和表达能力成为主流，但其局限性在于对全局信息的建模能力有限；transformer具备丰富的全局细节捕捉能力，将transformer和cnn结合分别处理红外图像和可见光图像可以极大程度地保留每种模态的细节和优点。在多层次跨模态协同特征编码与权重...
【技术保护点】
1.一种多层次跨模态协同特征编码器结构，包括以下步骤：
2.根据权利要求1所述的一种多层次跨模态协同特征编码器结构，其特征在于，所述步骤204中，在将来自两种模态切片后的ptach输入到Transformer编码器后，分别提取第一层，第三层，第六层和第十二层，这样的特征选取可以增强多模态特征的融合，捕捉到的信息具有不同的尺度和抽象程度，增强多尺度特征融合能力。
3.根据权利要求1所述的一种多层次跨模态协同特征编码器结构，其特征在于，所述步骤205中，将Transformer编码器输出的两种模态的f1、f2、f3、f4依次通过逐元素相加和卷积层进...
【技术特征摘要】
1.一种多层次跨模态协同特征编码器结构，包括以下步骤：
2.根据权利要求1所述的一种多层次跨模态协同特征编码器结构，其特征在于，所述步骤204中，在将来自两种模态切片后的ptach输入到transformer编码器后，分别提取第一层，第三层，第六层和第十二层，这样的特征选取可以增强多模态特征的融合，捕捉到的信息具有不同的尺度和抽象程度，增强多尺度特征融合能力。
3.根据权利要求1所述的一种多层次跨模态协同特征编码器结构，其特征在于，所述步骤205中，将transformer编码器输出的两种模态的f1、f2、f3、f4依次通过逐元素相加和卷积层进行特征融合，在transformer特征提取中加了来自两种模态图像特征融合的部分，融合后的特征图包含了更加丰富的信息，可以提升特征表示能力和捕获更多细节。
4.根据权利要求1所述的一种多层次跨模态协同特征编码器结构，其特征在于，所述步骤304中，将来自可见光图像的f1(1)、f2(1)、f3(1)、f4(1)红外图像的f1(2)、f2(2)、f3(2)、...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。