【技术实现步骤摘要】
本专利技术涉及一种基于任务驱动的红外与可见光图像融合的目标检测方法，属于图像融合与目标检测。
技术介绍
1、近些年来，传统的单模态图像已经越来越不能满足需求。随着硬件的快速发展，多模态成像在监控、自动驾驶、目标识别等领域得到了广泛发展。特别的是红外图像和可见光图像的结合对于后续任务的处理具有显著优势。红外热成像设备由于其强大的红外穿透能力能捕捉到一个不熟悉的世界场景，但红外光谱对亮度的变化并不敏感，导致红外图像分辨率低、质量差和缺乏纹理细节。而可见光图像包含更多的场景细节，但容易受到遮挡和恶劣天气的影响。
2、图像融合与其他高级计算机视觉任务的之间存在联系：图像融合可以作为输入增强步骤，提高其他计算机视觉任务的准确性，图像融合也证明了对多视图特征匹配、行人语义分割、目标跟踪等任务的预处理是有效的。通常，在此类应用中，图像融合的训练与下游任务隔离，唯一的连接是通过选择图像来训练或重新调整融合方法。
3、图像融合作为其他高级视觉任务的预处理，期望下游任务目标(如检测)给出的额外线索可能有助于指导图像融合解决方案，也对下游任务的鲁棒性有所提升。除此以外，图像融合没有groundtruth，对于图像融合任务的评价还是基于人类视觉感知，但是人类感知与机器感知之间存在巨大差异，特别是在高度复杂的深度网络中。这就对下游任务的鲁棒性造成了破坏，因此，如果目标是为下游任务的机器提供融合图像，那么在学习融合时应“迎合”机器感知。
4、现有技术将图像融合与高级视觉任务联合训练，针对融合和检测的联合提出了一个双层优化
技术实现思路
1、本专利技术的技术解决问题是：克服现有技术的不足，提出一种基于任务驱动的红外与可见光图像融合的目标检测方法。
2、为了实现上述目的，本专利技术采取如下技术方案。
3、一种基于任务驱动的红外与可见光图像融合的目标检测方法，该方法的步骤包括：
4、第一步，对待检测图像分别进行红外和可见光成像，得到红外图像-可见光图像对，并根据得到的红外图像-可见光图像对建立训练集、验证集和测试集；
5、所述红外图像-可见光图像对的训练集和验证集中包含红外图像和可见光图像及相应的检测标签数据；
6、第二步，根据第一步得到的红外图像-可见光图像对和检测标签数据构建基于yolo的端到端融合-检测网络；
7、第三步，根据第二步构建的端到端融合-检测网络提取红外图像的特征，得到红外图像的显著性层次特征，提取可见光图像的特征，得到可见光图像的显著性层次特征；
8、第四步，将第三步得到的红外图像的显著性层次特征和可见光图像的显著性层次特征基于端到端融合-检测网络中的融合部分进行融合，得到融合图像；
9、第五步，将第三步得到的红外图像的显著性层次特征和可见光图像的显著性层次特征基于端到端融合-检测网络中的检测部分进行检测，得到检测结果；
10、进行检测时基于yolo的检测头检测；
11、第六步，构建融合-检测损失函数，使用第一步的训练集、验证集和构建的融合-检测损失函数对第二步构建的基于yolo的端到端融合-检测网络进行训练，得到训练好的模型；
12、第七步，使用第一步的测试集对第六步训练好的模型进行测试，得到融合结果和检测结果。
13、所述第一步中，训练集与验证集按照8:2划分；
14、所述第六步中，构建融合-检测损失函数为：
15、l_total＝l_fusion+3l_detection
16、其中，l_fusion是融合损失，l_detection是检测损失；
17、lfysion＝lint+1.5lgradient
18、其中，lint和lgradient分别表示强度损失和梯度损失；
19、其中，强度损失为：
20、l_int＝||if-ii||2+||if-iv||2
21、其中，ii表示红外图像，iv表示可见光图像，if表示融合图像；||·||2表示l2范数；
22、其中，梯度损失函数为：
23、
24、其中，表示scharr梯度算子，max(·)表示元素点乘，||·||1表示l1范数；
25、其中，目标检测损失函数l_detection遵循yolov5的设置。
26、有益效果
27、1.本专利技术的红外与可见光图像融合与目标检测方法依托的网络框架采用端到端的联合训练方式且所述联合训练方式提高了所有这些任务上的泛化性能；
28、2.本专利技术的红外与可见光图像融合与目标检测方法通过将融合损失函数与检测损失函数权衡，显示地将目标检测纳入其目标训练中，这种端到端的训练方式有助于高级视觉任务“指导”图像融合的进程，形成“迎合”机器感知的融合图像，提升目标检测的精确性；
29、3.本专利技术的红外与可见光图像融合与目标检测方法依托的多任务网络框架能显著地提高图像融合的视觉感官性和多模态目标检测的精度，同时速度也没有降低。
本文档来自技高网...【技术保护点】
1.一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于该方法的步骤包括：
2.根据权利要求1所述的一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于：
3.根据权利要求1所述的一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于：
4.根据权利要求1所述的一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于：
5.根据权利要求1所述的一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于：
6.根据权利要求5所述的一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于：
【技术特征摘要】
1.一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于该方法的步骤包括：
2.根据权利要求1所述的一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于：
3.根据权利要求1所述的一种基于任务驱动的红外与可见光图像融合的目标检测方法，其特征在于：
<...【专利技术属性】
技术研发人员：杜慧茜，张婷婷，谢民，傅雄军，马志峰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。