【技术实现步骤摘要】
本专利技术涉及图像处理的，尤其涉及一种红外与可见光图像融合方法，以及红外与可见光图像融合装置。
技术介绍
1、红外与可见光图像融合作为一种典型的多模态图像融合技术，旨在整合红外光与可见光图像并生成具有互补信息的高质量融合图像，从而更完整、更准确地诠释同一成像场景，被广泛应用于目标的检测、识别、跟踪等高级视觉任务中。
2、现有的红外与可见光图像融合方法通常有基于多尺度分解、基于稀疏表示、基于优化和基于混合的传统方法，以及基于自动编码器、基于卷积神经网络和基于生成对抗网络的深度学习方法。传统方法比较依赖手工设计的特征提取方式和融合策略，模型效率较低和鲁棒性较差，导致仅能适用于一些特定的场景。深度学习方法因其强大的非线性拟合能力在融合性能和鲁棒性上取得了显著的效果，并逐步取代传统方法，但是仍然存在一些问题。首先，在图像融合领域通常使用cnn在有限的感受野范围内进行特征提取，忽略了源图像中的全局信息。其次，在红外与可见光特征提取过程中，现有方法普遍采用相同的网络结构同时提取不同源图像特征，造成不同的源图像采用相似的特征表示，无法同时保留源图像中的局部特征和全局上下文特征信息；最后，在融合过程中，现有方法没有考虑多源图像之间的深度特征关系，使用简单的加法和连接操作作为融合策略不仅忽略了全局上下文信息，而且引入大量的冗余信息。
技术实现思路
1、为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种红外与可见光图像融合方法，其能够同时保留深层全局和局部结构信息，极大地提高局部
2、本专利技术的技术方案是：这种红外与可见光图像融合方法，其包括以下步骤：
3、(1)在cnn(convolutional neural network,卷积神经网络)与transformer异构双分支前端共享一个浅层特征提取模块，该模块由一个3x3卷积核和leaky relu(leakyrectified linear unit，
4、leaky relu，带泄露修正线性单元)激活函数构成，分别对红外光与可见光图像进行初步处理，挖掘其中的浅层特征，以使整个网络获得更稳定的优化和更好的结果；
5、(2)建立cnn和transformer异构双分支的深层特征提取模块，其中，cnn分支采用多个残差密集卷积模块rdb级联组成，以便缓解过拟合问题，针对可见光图像的浅层特征，不断提取深层有用的细节纹理信息，作为局部特征；transformer分支采用多个残差swin-conv transformer模块rtb级联构成，适应不同分辨率图像输入，针对红外光图像的浅层特征，不断提取深层有用的长距离特征依赖，作为全局特征；
6、(3)通过自适应融合交互模块afim构建cnn和transformer异构双分支信息交互的桥梁，引导网络通过多尺度边缘注意力msea自动结合每一级rdb和rtb的跨模态互补信息，通过空间通道注意力sca将聚合的特征反馈给原来的分支，将整合的信息传递给后续的解码器；
7、(4)在每一级afim模块和对应解码器位置使用跳跃连接，以便恢复融合图像的细节信息和缓解梯度消失。
8、本专利技术针对可见光图像具有较高的空间分辨率和丰富的细节信息特性，红外光图像包含丰富的热辐射信息和全局结构信息的特点，设计基于cnn和transformer异构的双分支网络，充分利用了cnn提取可见光图像的局部特征信息以及transformer提取红外光图像的全局上下文信息的优势，有效地解决了目前大多数融合方法无法同时保留深层全局和局部结构信息的问题；本专利技术设计的融合交互模块能够自适应地融合来自两个不同分支的全局和局部特征，还能够将互补的信息反馈回两个分支，这种融合交互策略可以极大地提高局部特征的全局感知能力和全局表示的局部细节。
9、还提供了红外与可见光图像融合装置，其包括：
10、预处理单元，其配置来在cnn与transformer异构双分支前端共享一个浅层特征提取模块，该模块由一个3x3卷积核和leaky relu激活函数构成，分别对红外光与可见光图像进行初步处理，挖掘其中的浅层特征，以使整个网络获得更稳定的优化和更好的结果；
11、特征提取单元，其配置来建立cnn和transformer异构双分支的深层特征提取模块，其中，cnn分支采用多个残差密集卷积模块rdb级联组成，以便缓解过拟合问题，针对可见光图像的浅层特征，不断提取深层有用的细节纹理信息，作为局部特征；transformer分支采用多个残差swin-conv transformer模块rtb级联构成，适应不同分辨率图像输入，针对红外光图像的浅层特征，不断提取深层有用的长距离特征依赖，作为全局特征；
12、融合交互单元，其配置来通过自适应融合交互模块afim构建cnn和transformer异构双分支信息交互的桥梁，引导网络通过多尺度边缘注意力msea自动结合每一级rdb和rtb的跨模态互补信息，通过空间通道注意力sca将聚合的特征反馈给原来的分支，将整合的信息传递给后续的解码器；
13、跳跃连接单元，其配置来在每一级afim模块和对应解码器位置使用跳跃连接，以便恢复融合图像的细节信息和缓解梯度消失。
本文档来自技高网...【技术保护点】
1.红外与可见光图像融合方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的红外与可见光图像融合方法，其特征在于：所述步骤(1)中，针对尺寸为H×W×C且已配准的红外光输入图像Iir和可见光输入图像Ivis，设计一个卷积核大小为3×3，步长为1的卷积神经网络，搭配Leaky Relu激活函数组成的浅层特征抓取模块，该模块通过共享的方式同时作用于不同的源图像输入，分别得到对应的浅层特征Cvis和Tir。
3.根据权利要求2所述的红外与可见光图像融合方法，其特征在于：所述步骤(2)中，将步骤(1)得到的浅层特征Cvis输入CNN分支；在CNN分支中，采用3个RDB模块以级联的方式去提取可见光图像不同层次的纹理细节，每一个RDB模块包含一个密集连接模块和一个1×1卷积，在密集连接模块的输入和输出之间再添加一个残差连接，每个密集连接模块由两个3×3卷积核和一个1×1卷积核组成，通过第i个RDB模块的计算公式表示为：
4.根据权利要求3所述的红外与可见光图像融合方法，其特征在于：
5.根据权利要求4所述的红外与可见光图像融合方法，其特
6.根据权利要求5所述的红外与可见光图像融合方法，其特征在于：所述步骤(4)中，以BN层、Leaky Relu激活函数和3×3卷积核为单位，级联三个构成解码器，并在每个级联阶段接收步骤(3)输出的融合特征信息，最后重建出融合图像，计算方式为：
7.根据权利要求1所述的红外与可见光图像融合方法的装置，其特征在于：其包括：
8.根据权利要求7所述的红外与可见光图像融合方法的装置，其特征在于：所述特征提取单元执行：
9.根据权利要求7所述的红外与可见光图像融合方法的装置，其特征在于：所述融合交互单元执行：
10.根据权利要求9所述的红外与可见光图像融合方法的装置，其特征在于：所述跳跃连接单元：
...【技术特征摘要】
1.红外与可见光图像融合方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的红外与可见光图像融合方法，其特征在于：所述步骤(1)中，针对尺寸为h×w×c且已配准的红外光输入图像iir和可见光输入图像ivis，设计一个卷积核大小为3×3，步长为1的卷积神经网络，搭配leaky relu激活函数组成的浅层特征抓取模块，该模块通过共享的方式同时作用于不同的源图像输入，分别得到对应的浅层特征cvis和tir。
3.根据权利要求2所述的红外与可见光图像融合方法，其特征在于：所述步骤(2)中，将步骤(1)得到的浅层特征cvis输入cnn分支；在cnn分支中，采用3个rdb模块以级联的方式去提取可见光图像不同层次的纹理细节，每一个rdb模块包含一个密集连接模块和一个1×1卷积，在密集连接模块的输入和输出之间再添加一个残差连接，每个密集连接模块由两个3×3卷积核和一个1×1卷积核组成，通过第i个rdb模块的计算公式表示为：
4.根据权利要求3所述的红外与可见光图像融合方法...
【专利技术属性】
技术研发人员：宋红，李金夫，刘磊，杨健，范敬凡，肖德强，付天宇，林毓聪，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。