一种红外与可见光图像融合的多光谱目标检测方法及系统技术方案

本申请提供了一种红外与可见光图像融合的多光谱目标检测方法，包括：构建包含红外图像模型与可见光图像模型的深度残差网络；获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理；根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；将所述红外图像增强特征和可见光图像增强特征插入到所述深度残差网络，构建多光谱目标检测网络；通过多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到目标检测结果。本申请通过有效融合红外与可见光图像特征，有效提升多光谱目标检测的准确率和鲁棒性。性。性。

【技术实现步骤摘要】
一种红外与可见光图像融合的多光谱目标检测方法及系统


[0001]本申请涉及目标检测
，特别涉及一种红外与可见光图像融合的多光谱目标检测方法及系统。

技术介绍

[0002]随着成像传感器技术的迅猛发展，当前单一可见光图像不足日益突出，例如在黑暗环境中可见光图片成像质量将会受到严重影响，难以满足日常应用需求，而红外图像可以很好地弥补可见光图像的不足。
[0003]随着深度学习方法的发展，目标检测任务大多基于卷积神经网络进行特征提取，为了在卷积神经网络中融合可见光与红外图像信息，方法之一是在卷积神经网络输入层对红外与可见光图像进行拼接，但是这种方法简单直接，缺乏对可见光与红外两种模态图像的区分；另一种方法是在卷积神经网络中间层或者输出层对提取的特征图进行拼接，然后利用1*1卷积核对拼接后的特征图进行特征提取，但是这种方法参数量大、计算复杂，缺乏融合引导策略。
[0004]因此针对于结合可见光与红外图像的多光谱目标检测任务，如何在深度卷积骨干网络中融合可见光与红外图像特征是本申请有待于解决的问题。

技术实现思路

[0005]有鉴于此，本申请提出一种红外与可见光图像融合的多光谱目标检测方法及系统，通过有效融合红外与可见光图像特征，有效提升多光谱目标检测的准确率和鲁棒性。
[0006]第一方面，本申请提供了一种红外与可见光图像融合的多光谱目标检测方法，包括：构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像特征；根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。
[0007]由上，本方法通过对红外图像特征和可见光图像特征进行差模融合，使红外图像特征和可见光图像特征能够基于共模特征和差模特征来增强互补特征的学习，分别从另一
图像特征中获取互补特征对自身特征进行增强，从而提高红外图像模型、可见光图像模型对另一模态信息特征的敏感性，基于红外图像增强特征和可见光图像增强特征以及深度残差网络，可构建多光谱目标检测网络，并采用预处理的红外图像和可见光图像进行训练，以进一步优化，并利用训练好的多光谱目标检测网络实现对采集的红外图像或可见光图像进行检测。本方法解决了传统多光谱融合方法缺乏显式目标策略引导、泛化能力差等问题，提升了多光谱图像目标检测出的效果和可识别性。
[0008]可选的，所述构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值包括：在包含有预训练的可见光图像模型的深度残差网络中增加红外图像模型；基于所述预训练的可见光图像模型的权重赋值，为所述红外图像模型设置相同的权重变量，并为所述权重变量进行权重赋值。
[0009]由上，本方法可选取任一深度学习骨干网络，例如ResNet50、ResNet101等深度残差网络，该深度残差网络中保存有从ImageNet数据集提取的可见光图像模型，本方法通过在该深度残差网络中增加红外图像模型分支，然后将该可见光图像模型的权重赋值给红外图像模型，以构建包含红外图像模型与可见光图像模型的深度残差网络。
[0010]可选的，所述对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理包括：根据随机概率，对所述可见光图像进行色调随机扰动处理、亮度随机扰动处理、饱和度随机扰动处理和图像随机水平旋转处理；根据随机概率，对所述红外图像进行红外单通道的亮度随机扰动处理、图像随机水平旋转处理。
[0011]可选的，所述根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征包括：通过将所述红外图像特征、可见光图像特征进行差模计算，得到所述红外图像特征和可见光图像特征的差模特征；将所述差模特征通过全局平均池化压缩到一个全局差分向量；通过激活函数对所述全局差分向量进行激活，得到融合权重向量；通过将所述红外图像特征、可见光图像特征分别与所述融合权重向量进行通道级乘法运算，分别得到所述红外图像特征、可见光图像特征的互补特征；将所述红外图像特征、可见光图像特征与所述红外图像特征、可见光图像特征的互补特征分别融合，得到红外图像增强特征和可见光图像增强特征。
[0012]可选的，所述差模融合计算过程通过下述公式计算：; ;其中，为所述红外图像特征，为所述可见光图像特征，为所述红外图像特征和可见光图像特征的差模特征，为深度残差网络的残差函数，为tanh激活函数，为全局平均池化，表示逐元素求和操作，表示逐元素相乘操作，表示红外图
像特征的互补特征，表示可见光图像特征的互补特征，表示红外图像增强特征，表示可见光图像增强特征。
[0013]由上，通过根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，实现对红外图像特征和可见光图像特征的增强，生成更丰富、更鲁邦的模态特征。
[0014]可选的，所述将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络包括：将所述红外图像增强特征密集插入到所述深度残差网络包含的红外图像模型的每个残差网络块；将所述可见光图像增强特征密集插入到所述深度残差网络包含的可见光图像模型的每个残差网络块；通过联合所述红外图像模型和可见光图像模型组合构建所述多光谱目标检测网络。
[0015]可选的，所述采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练包括：将预处理后的所述红外图像和可见光图像输入到所述多光谱目标检测网络，经由所述多光谱目标检测网络提取图像特征后计算目标检测损失函数，通过迭代训练优化更新所述多光谱目标检测网络的权重值，使所述损失函数的输出值降低至预设数值范围内，完成对所述多光谱目标检测网络的训练。
[0016]由上，基于差模感知融合计算的结果以及构建的包含红外图像模型与可见光图像模型的深度残差网络，可构建多光谱目标检测网络，该多光谱目标检测网络能够对红外图像、可见光图像进行有效识别，克服了各自模型的局限与缺陷。
[0017]第二方面，本申请提供了一种红外与可见光图像融合的多光谱目标检测系统，包括：网络初始化模块，用于构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外与可见光图像融合的多光谱目标检测方法，其特征在于，包括：构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值；获取多光谱目标检测图像，对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理，并分别提取红外图像特征和可见光图像特征；根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征；将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络，并采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练；通过训练好的所述多光谱目标检测网络对采集的红外图像或可见光图像进行检测，得到红外图像或可见光图像中的目标检测结果。2.根据权利要求1所述的方法，其特征在于，所述构建包含红外图像模型与可见光图像模型的深度残差网络，并分别为所述红外图像模型与可见光图像模型的权重赋值包括：在包含有预训练的可见光图像模型的深度残差网络中增加红外图像模型；基于所述预训练的可见光图像模型的权重赋值，为所述红外图像模型设置相同的权重变量，并为所述权重变量进行权重赋值。3.根据权利要求1所述的方法，其特征在于，所述对所述多光谱目标检测图像中的红外图像和可见光图像分别进行图像预处理包括：根据随机概率，对所述可见光图像进行色调随机扰动处理、亮度随机扰动处理、饱和度随机扰动处理和图像随机水平旋转处理；根据随机概率，对所述红外图像进行红外单通道的亮度随机扰动处理、图像随机水平旋转处理。4.根据权利要求1所述的方法，其特征在于，所述根据所述红外图像特征和可见光图像特征之间的共模特征和差模特征，分别对所述红外图像特征和可见光图像特征进行差模融合计算，得到红外图像增强特征和可见光图像增强特征包括：通过将所述红外图像特征、可见光图像特征进行差模计算，得到所述红外图像特征和可见光图像特征的差模特征；将所述差模特征通过全局平均池化压缩到一个全局差分向量；通过激活函数对所述全局差分向量进行激活，得到融合权重向量；通过将所述红外图像特征、可见光图像特征分别与所述融合权重向量进行通道级乘法运算，分别得到所述红外图像特征、可见光图像特征的互补特征；将所述红外图像特征、可见光图像特征与所述红外图像特征、可见光图像特征的互补特征分别融合，得到红外图像增强特征和可见光图像增强特征。5.根据权利要求1或4所述的方法，其特征在于，所述差模融合计算过程通过下述公式计算：;
;其中，为所述红外图像特征，为所述可见光图像特征，为所述红外图像特征和可见光图像特征的差模特征，为深度残差网络的残差函数，为tanh激活函数，为全局平均池化，表示逐元素求和操作，表示逐元素相乘操作，表示红外图像特征的互补特征，表示可见光图像特征的互补特征，表示红外图像增强特征，表示可见光图像增强特征。6.根据权利要求1所述的方法，其特征在于，所述将所述红外图像增强特征和可见光图像增强特征插入到所述包含红外图像模型与可见光图像模型的深度残差网络，构建多光谱目标检测网络包括：将所述红外图像增强特征密集插入到所述深度残差网络包含的红外图像模型的每个残差网络块；将所述可见光图像增强特征密集插入到所述深度残差网络包含的可见光图像模型的每个残差网络块；通过联合所述红外图像模型和可见光图像模型组合构建所述多光谱目标检测网络。7.根据权利要求1或6所述的方法，其特征在于，所述采用预处理后的所述红外图像和可见光图像对所述多光谱目标检测网络进行训练包括：将预处理后的所述红外图像和可见光图像输入到所述多光谱目标检测网络，经由所述多光谱目标检测网络提取图像特征后计算目标检测损失函数，通过迭代训练优化更新所述多光谱目标检测网络的权重值，使所述损失函数的输出值降低至预设数值范围内，完成对所述多光谱目标检测网络的训练。8.一种红外与可见光图像融合的多光谱目标检测系统，其特征在于，包括：网络初始化模块，...

【专利技术属性】
技术研发人员：周凯来，陈林森，李昀谦，蔡李靖，字崇德，吕涛，
申请(专利权)人：南京智谱科技有限公司，
类型：发明
国别省市：