红外图像与可见光图像的融合方法、设备及存储介质技术

本申请公开了红外图像与可见光图像的融合方法、设备及存储介质，该方法通过获取红外图像对应的多尺度红外特征和可见光图像对应的多尺度可见光特征；根据多尺度红外特征确定查询矩阵，以及根据多尺度可见光特征确定键矩阵和值矩阵；基于所述查询矩阵、键矩阵和所述值矩阵，计算得到所述多尺度红外特征和所述多尺度可见光特征的注意力权重分配结果；基于所述注意力权重分配结果和多头注意力机制，计算得到所述多尺度红外特征和所述多尺度可见光特征的初步融合特征；基于所述初步融合特征以及注意力机制，得到目标融合特征。解决了当前基于深度学习的图像融合算法融合性能较差的技术问题，达到了自适应地进行不同模态的特征融合的技术效果。融合的技术效果。融合的技术效果。

【技术实现步骤摘要】
红外图像与可见光图像的融合方法、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及红外图像与可见光图像的融合方法、设备及存储介质。

技术介绍

[0002]视觉传感器能够采集丰富的环境信息，然而单一类型的传感器只具有表征某一方面的信息特征，无法满足对监测环境的全面描述，最典型的便是红外和可见光的图像融和。由于两者成像机理不同，可见光图像易于获取,分辨率高，对比度强，能够提供更多的颜色、纹理等细节信息,但是受限于光照强度、天气等外在条件，不具备昼夜工作的能力；红外图像依据物体的辐射成像，不易受极端天气条件的影响，具备昼夜工作能力，但是图像分辨率和对比度通常较低，细节较少。因此，将红外图像与可见光图像的信息进行融合，可以将同一场景下的红外与可见光图像进行细致融合，同时保留红外图像具有热辐射信息的高亮目标以及可见光图像具有高分辨率的背景纹理细节信息，具有比单一图像更丰富的细节以及抵抗恶劣环境的能力。
[0003]在图像融合领域，深度学习展示了最先进的性能。常用的图像融合算法有基于卷积神经网络(CNN)的融合算法与基于生成对抗网络(GAN)的融合算法。其中，基于卷积神经网络(CNN)的融合算法通过通用网络结构，即特征提取层、融合层和图像重建层，开发了一个通用的图像融合框架，在一类复杂的损失函数的指导下学习特征提取、特征融合和图像重构。然而这类方法仅关注到了全局层面的融合，没有突出感兴趣的目标区域。基于生成对抗网络(GAN)的融合算法利用鉴别器强制生成器合成具有丰富纹理的融合图像，然而GAN训练困难，未能获得较好的融合质量，且容易发生模式崩溃或者模式缺失的问题。
[0004]因此，当前基于深度学习的图像融合算法融合性能较差。
[0005]上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0006]本申请实施例通过提供一种红外图像与可见光图像的融合方法、设备及存储介质，解决了当前基于深度学习的图像融合算法融合性能较差的技术问题，实现了自适应地进行不同模态的特征融合的技术效果。
[0007]本申请实施例提供了一种红外图像与可见光图像的融合方法，所述红外图像与可见光图像的融合方法包括以下步骤：
[0008]获取红外图像对应的多尺度红外特征和可见光图像对应的多尺度可见光特征；
[0009]根据所述多尺度红外特征确定查询矩阵，以及根据所述多尺度可见光特征确定键矩阵和值矩阵；
[0010]基于所述查询矩阵、键矩阵和所述值矩阵，计算得到所述多尺度红外特征和所述多尺度可见光特征的注意力权重分配结果；
[0011]基于所述注意力权重分配结果和多头注意力机制，计算得到所述多尺度红外特征和所述多尺度可见光特征的初步融合特征；
[0012]基于所述初步融合特征以及注意力机制，得到目标融合特征。
[0013]可选地，所述基于所述查询矩阵、键矩阵和所述值矩阵，计算得到所述多尺度红外特征和所述多尺度可见光特征的注意力权重分配结果的步骤包括：
[0014]基于所述查询矩阵和所述键矩阵，以得到所述查询矩阵与所述键矩阵的相似度得分；
[0015]基于所述键矩阵的维度，对所述相似度得分进行归一化处理，以得到相似度矩阵；
[0016]基于所述值矩阵和所述相似度矩阵，计算得到所述值矩阵的注意力权重分配结果。
[0017]可选地，所述基于所述注意力权重分配结果和多头注意力机制，计算得到所述多尺度红外特征和所述多尺度可见光特征的初步融合特征的步骤之后包括：
[0018]对所述初步融合特征进行残差操作，得到残差输出结果；
[0019]对所述残差输出结果进行层标准化操作，得到初始标准特征向量；
[0020]对所述初始标准特征向量进行全连接层操作、残差操作，以及层标准化操作，得到所述多尺度红外特征和所述多尺度可见光特征的收敛融合特征。
[0021]可选地，所述基于所述初步融合特征以及注意力机制，得到目标融合特征的步骤包括：
[0022]对多个尺度的所述初步融合特征进行维度转换，以得到统一尺度的融合特征；
[0023]在通道维度对所述统一尺度的融合特征进行拼接，以得到拼接后的融合特征；
[0024]基于所述拼接后的融合特征和所述注意力机制，得到目标融合特征。
[0025]可选地，所述基于所述初步融合特征以及注意力机制，得到目标融合特征的步骤之后包括：
[0026]基于所述多头注意力机制中的编码器，对所述目标融合特征中的每个特征块进行学习；
[0027]基于所述多头注意力机制中的解码器，学习所述特征块与预设检测框的相似度；
[0028]基于所述相似度，输出所述预设检测框的位置和分类。
[0029]可选地，所述获取红外图像对应的多尺度红外特征和可见光图像对应的多尺度可见光特征的步骤之前包括：
[0030]获取红外图像与可见光图像；
[0031]基于第一卷积块对所述红外图像和所述可见光图像进行卷积处理，以得到标准化特征；
[0032]基于另外的多卷积块，对所述标准化特征进行学习，以得到所述多尺度红外特征和所述多尺度可见光特征。
[0033]可选地，所述红外图像与可见光图像的融合方法应用于无人机，所述获取红外图像与可见光图像的步骤之前包括：
[0034]获取待检测区域的初步巡检图像；
[0035]基于所述初步巡检图像，确定房屋分布；
[0036]基于所述房屋分布，确定巡检路线。
[0037]可选地，所述获取红外图像与可见光图像的步骤之后包括：
[0038]检测所述红外图像和所述可见光图像的图像质量；
[0039]基于所述图像质量确定所述无人机的调整参数，所述参数包括高度和/或速度和/或焦距；
[0040]基于所述调整参数，重新获取优化红外图像和优化可见光图像。
[0041]此外，为实现上述目的，本申请还提供一种红外图像与可见光图像的融合设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的红外图像与可见光图像的融合程序，所述红外图像与可见光图像的融合程序配置为实现上述的红外图像与可见光图像的融合方法的步骤。
[0042]此外，为实现上述目的，本申请还提供一种可读存储介质，所述可读存储介质上存储有红外图像与可见光图像的融合程序，所述红外图像与可见光图像的融合程序被处理器执行时实现上述的红外图像与可见光图像的融合方法的步骤。
[0043]在本申请中，为了解决当前基于深度学习的图像融合算法融合性能较差的技术问题，本申请基于注意力机制分别处理红外图像对应的多尺度红外特征和可见光图像对应的多尺度可见光特征，得到所述多尺度红外特征和所述多尺度可见光特征的注意力权重分配结果；进一步基于多头注意力机制，得到多尺度红外特征和多尺度可见光特征的初步融合特征；最后基于所述初步融合特征以及注意力机制，得到目标融合特征。与传统的融合方法相比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外图像与可见光图像的融合方法，其特征在于，所述红外图像与可见光图像的融合方法包括以下步骤：获取红外图像对应的多尺度红外特征和可见光图像对应的多尺度可见光特征；根据所述多尺度红外特征确定查询矩阵，以及根据所述多尺度可见光特征确定键矩阵和值矩阵；基于所述查询矩阵、键矩阵和所述值矩阵，计算得到所述多尺度红外特征和所述多尺度可见光特征的注意力权重分配结果；基于所述注意力权重分配结果和多头注意力机制，计算得到所述多尺度红外特征和所述多尺度可见光特征的初步融合特征；基于所述初步融合特征以及注意力机制，得到目标融合特征。2.如权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述基于所述查询矩阵、键矩阵和所述值矩阵，计算得到所述多尺度红外特征和所述多尺度可见光特征的注意力权重分配结果的步骤包括：基于所述查询矩阵和所述键矩阵，以得到所述查询矩阵与所述键矩阵的相似度得分；基于所述键矩阵的维度，对所述相似度得分进行归一化处理，以得到相似度矩阵；基于所述值矩阵和所述相似度矩阵，计算得到所述值矩阵的注意力权重分配结果。3.如权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述基于所述注意力权重分配结果和多头注意力机制，计算得到所述多尺度红外特征和所述多尺度可见光特征的初步融合特征的步骤之后包括：对所述初步融合特征进行残差操作，得到残差输出结果；对所述残差输出结果进行层标准化操作，得到初始标准特征向量；对所述初始标准特征向量进行全连接层操作、残差操作，以及层标准化操作，得到所述多尺度红外特征和所述多尺度可见光特征的收敛融合特征。4.如权利要求1所述的红外图像与可见光图像的融合方法，其特征在于，所述基于所述初步融合特征以及注意力机制，得到目标融合特征的步骤包括：对多个尺度的所述初步融合特征进行维度转换，以得到统一尺度的融合特征；在通道维度对所述统一尺度的融合特征进行拼接，以得到拼接后的融合特征；基于所述拼接后的融合特征和所述注意力机制，得到目标融合特征。5.如权利要求1所述的...

【专利技术属性】
技术研发人员：张维，黄舰，伍永靖邦，金楠，施钟淇，凡红，岳清瑞，
申请(专利权)人：城市安全发展科技研究院深圳，
类型：发明
国别省市：