融合双模态特征的目标检测方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种融合双模态特征的目标检测方法、系统、计算机设备及存储介质，所述方法包括：获取训练数据集；训练数据集包括双模态图像和注释文件，双模态图像包括可见光图像和红外图像；将可见光图像输入目标检测模型中的光照感知权重生成网络，输出两种模态特征的融合权重；将双模态图像和两种模态特征的融合权重输入目标检测模型中的具有特征循环融合机制的主路网络，输出预测结果；利用两种模态特征的融合权重和预测结果以及注释文件训练目标检测模型，将待测双模态图像输入训练好的目标检测模型，得到待测双模态图像中目标的位置和类别的预测结果。本发明专利技术通过构建目标检测模型，改善了模型对环境光照变化的适应能力，提高了检测精度。提高了检测精度。提高了检测精度。

【技术实现步骤摘要】
融合双模态特征的目标检测方法、系统、设备及存储介质


[0001]本专利技术涉及目标检测
，特别是涉及一种融合双模态特征的目标检测方法、系统、计算机设备及存储介质。

技术介绍

[0002]近年来，随着深度学习理论的兴起，目标检测技术取得了飞速的发展，并逐渐投入到生产、生活等方面，如工业缺陷检测、智能视频监控、自动驾驶等。然而，当前主流技术主要以能见度不受影响的常规场景为研究对象，对于一些极端气候条件或夜间等低照度环境则不具有鲁棒性，因此，普通检测算法的性能大大受限。现实许多户外应用场景中，类似的低照度情况并不少见。由于红外成像设备通过收集热辐射生成红外图像，对光照并不敏感，相比可见光图像更适用于低照度场景下的目标检测。然而红外图像具有分辨率较低、缺乏纹理信息等缺点，单纯考虑红外图像也难以达到远超可见光的效果。通过比较两者的优劣势，发现只有同时把可见光和红外图像利用起来，使两者的信息实现互补，才能有效解决低照度场景下目标检测性能降低的问题。
[0003]基于这一思想，目前相继出现了部分相关方法的研究。其中大多数采用基于像素级融合的目标检测策略，即让可见光和红外图像通过特定的融合算法生成融合图像，再将融合图像送入现有的目标检测框架中进行检测。像素级融合虽然能最大程度地保留两者信息，但造成了部分信息冗余，同时带来了较大的计算成本，且该方法要求两幅图像严格配准。另一类方法则采用决策级融合的思想，即利用可见光和红外图像分别训练单独的目标检测器，再分别得到两个独立的预测结果，最后根据特定的决策机制，将两个结果融合成单个最佳结果。这类方法的两个检测器相互独立，没有在训练过程中交流两种模态图像之间的信息，仅对结果进行判定取舍，具有一定局限性。
[0004]而特征层面的融合是除像素级融合以外，一种最能体现信息交流互补且对图像配准要求相对较低的融合方式。但如何提取和融合特征，才能充分利用可见光与红外的信息，是一项富有探索性的任务。现有的技术方法也尚未提出一种充分融合双模态特征的目标检测方法。

技术实现思路

[0005]为了解决上述现有技术的不足，本专利技术提供了一种融合双模态特征的目标检测方法、系统、计算机设备及存储介质，该方法通过设计光照感知权重生成网络，使目标检测模型根据场景光照条件，自适应地为两种模态特征的融合赋予权重；同时通过具有循环融合机制的模块即循环融合模块，使两种模态信息在特征提取与融合过程中能够充分调制，为后续的检测任务提供更富含语义的特征。从而改善了目标检测网络模型对环境光照变化的适应能力，提高了在全天候场景下的检测精度。
[0006]本专利技术的第一个目的在于提供一种融合双模态特征的目标检测方法。
[0007]本专利技术的第二个目的在于提供一种融合双模态特征的目标检测系统。
[0008]本专利技术的第三个目的在于提供一种计算机设备。
[0009]本专利技术的第四个目的在于提供一种存储介质。
[0010]本专利技术的第一个目的可以通过采取如下技术方案达到：
[0011]一种融合双模态特征的目标检测方法，所述方法包括：
[0012]获取训练数据集；其中，所述训练数据集包括双模态图像和注释文件，所述双模态图像包括可见光图像和红外图像；
[0013]将所述可见光图像输入目标检测模型中的光照感知权重生成网络，输出两种模态特征的融合权重；
[0014]将所述双模态图像和两种模态特征的融合权重输入目标检测模型中的具有特征循环融合机制的主路网络，输出预测结果；
[0015]利用所述两种模态特征的融合权重和所述预测结果以及注释文件训练目标检测模型，使所述目标检测模型可靠收敛，从而得到训练好的目标检测模型；
[0016]将待测双模态图像输入所述训练好的目标检测模型，得到所述待测双模态图像中目标的位置和类别的预测结果。
[0017]进一步的，所述获取训练数据集，具体包括：
[0018]利用具有双模态传感器的双目设备同时采集场景中的画面，获得双模态图像；
[0019]在所述可见光图像上对目标的位置、类别以及场景类别进行手动标注，并根据标注的内容生成注释文件；
[0020]所述双模态图像和所述注释文件构成训练数据集。
[0021]进一步的，所述主路网络采用YOLOv3目标检测框架，将主干网络中第k次下采样后的残差块，替换为循环融合模块，通过循环融合机制使双模态图像信息能够得到充分的交互与融合，为后续的检测任务提供更富含语义的特征；其中，k为1或2。
[0022]进一步的，所述主路网络中循环融合模块前的网络部分采用双流结构，即采用两个并行的浅层特征提取模块；
[0023]所述将所述双模态图像和两种模态特征的融合权重输入目标检测模型中的具有特征循环融合机制的主路网络，输出预测结果，具体包括：
[0024]将所述双模态图像分别输入两个并行的浅层特征提取模块，分别提取所述双模态图像的特征，得到双模态特征；
[0025]将所述双模态特征和所述两种模态特征的融合权重输入所述循环融合模块，经过n轮融合后，输出最终的融合特征；其中，n为大于1的正整数；
[0026]将所述最终的融合特征输入主路网络中的深层特征提取模块，得到深层特征；将所述深层特征输入目标检测模块，得到预测结果。
[0027]进一步的，令i＝0，i级双模态特征为所述双模态特征；
[0028]所述循环融合模块包括特征加权模块和卷积模块；
[0029]所述将所述双模态特征和所述两种模态特征的融合权重输入所述循环融合模块，经过n轮融合后，输出最终的融合特征，具体包括：
[0030]将i级双模态特征和两种模态特征的融合权重输入所述特征加权模块，输出i级融合特征；
[0031]将所述i级融合特征输入所述卷积模块，其输出分别与i级双模态特征连接，得到i
+1级双模态特征；
[0032]当i＜n时，i＝i+1，将i+1级双模态特征作为i级双模态特征，并进行下一轮融合；
[0033]完成n轮循环融合过程后，输出最终的融合特征。
[0034]进一步的，所述两种模态特征的融合权重分别为可见光权重和红外权重；
[0035]所述i级双模态特征分别为i级可见光特征和i级红外特征；
[0036]所述将i级双模态特征和两种模态特征的融合权重输入所述特征加权模块，输出i级融合特征，具体为：
[0037]根据下式计算i级融合特征为：
[0038][0039]其中，为i级融合特征，w
v
,w
t
分别为可见光权重和红外权重，且w
t
＝1
‑
w
v
；f
ti
分别为i级可见光特征和i级红外特征；
[0040]所述将所述i级融合特征输入所述卷积模块，其输出分别与i级双模态特征连接，得到i+1级双模态特征，具体包括：
[0041]将所述i级融合特征输入卷积模块，其输出分别与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合双模态特征的目标检测方法，其特征在于，所述方法包括：获取训练数据集；其中，所述训练数据集包括双模态图像和注释文件，所述双模态图像包括可见光图像和红外图像；将所述可见光图像输入目标检测模型中的光照感知权重生成网络，输出两种模态特征的融合权重；将所述双模态图像和两种模态特征的融合权重输入目标检测模型中的具有特征循环融合机制的主路网络，输出预测结果；利用所述两种模态特征的融合权重和所述预测结果以及注释文件训练目标检测模型，使所述目标检测模型可靠收敛，从而得到训练好的目标检测模型；将待测双模态图像输入所述训练好的目标检测模型，得到所述待测双模态图像中目标的位置和类别的预测结果。2.根据权利要求1所述的目标检测方法，其特征在于，所述获取训练数据集，具体包括：利用具有双模态传感器的双目设备同时采集场景中的画面，获得双模态图像；在所述可见光图像上对目标的位置、类别以及场景类别进行手动标注，并根据标注的内容生成注释文件；所述双模态图像和所述注释文件构成训练数据集。3.根据权利要求1所述的目标检测方法，其特征在于，所述主路网络采用YOLOv3目标检测框架，将主干网络中第k次下采样后的残差块，替换为循环融合模块，通过循环融合机制使双模态图像信息能够得到充分的交互与融合，为后续的检测任务提供更富含语义的特征；其中，k为1或2。4.根据权利要求3所述的目标检测方法，其特征在于，所述主路网络中循环融合模块前的网络部分采用双流结构，即采用两个并行的浅层特征提取模块；所述将所述双模态图像和两种模态特征的融合权重输入目标检测模型中的具有特征循环融合机制的主路网络，输出预测结果，具体包括：将所述双模态图像分别输入两个并行的浅层特征提取模块，分别提取所述双模态图像的特征，得到双模态特征；将所述双模态特征和所述两种模态特征的融合权重输入所述循环融合模块，经过n轮融合后，输出最终的融合特征；其中，n为大于1的正整数；将所述最终的融合特征输入主路网络中的深层特征提取模块，得到深层特征；将所述深层特征输入目标检测模块，得到预测结果。5.根据权利要求4所述的目标检测方法，其特征在于，令i＝0，i级双模态特征为所述双模态特征；所述循环融合模块包括特征加权模块和卷积模块；所述将所述双模态特征和所述两种模态特征的融合权重输入所述循环融合模块，经过n轮融合后，输出最终的融合特征，具体包括：将i级双模态特征和两种模态特征的融合权重输入所述特征加权模块，输出i级融合特征；将所述i级融合特征输入所述卷积模块，其输出分别与i级双模态特征连接，得到i+1级双模态特征；
当i＜n时，i＝i+1，将i+1级双模态特征作为i级双模态特征，并进行下一轮融合；完成n轮循环融合过程后，输出最终的融合特征。6.根据权利要求5所述的目标检测方法，其特征在于，所述两种模态特征的融合权重分别为可见光权重和红外权重；所述i级双模态特征分别为i级可见光特征和i级红外特征；所述将i级双模态特征和两种模态特征的融合权重输入所述特征加权模块，输出i级融合特征，具体为：根据下式计算i级融合特征为：其中，为i级融合特征，w
v
...

【专利技术属性】
技术研发人员：解宇敏，张浪文，谢巍，余孝源，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：