【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于yolov5s的多模态融合的目标检测方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、目标检测是计算机视觉的一个重要研究课题。它在自动驾驶、视频监控、机器人等领域发挥着重要作用。近年来，随着深度学习的发展，出现了许多优秀的目标检测算法。目标检测算法可分为一阶段算法及两阶段算法。随着深度学习算法的发展，模型的精度越来越高，但由于模型对低层次的语义信息不敏感使得遥感图像中的小目标检测仍然是一个挑战。
3、合理的图像融合可以有效地弥补不同图像的不足，rgb图像具有色彩信息丰富、分辨率高等优点，可以提供更多的视觉细节和更多的几何线索和边缘信息，这对于目标检测和表面特征分析非常重要。然而，rgb图像在弱光条件下可见性有限，物体没有良好的特征表示。红外图像对光线较为敏感，在弱光条件下能保证良好的语义特性，但红外图像分辨率较低，色彩表示较差。这两种图像具有优缺点，融合两种不同的多模态(rgb和ir)可以有效地提高遥感图像(rsi)的检测精度。现有提出了融合红外图像、rgb图像和超分辨率(sr)模块的superyolo遥感车辆检测模型，该模型在计算量小的情况下取得了较好的精度，其引入了超分辨率分支来提高图像的分辨率，以提高检测的准确性。
4、与普通场景相比，遥感图像场景检测主要存在以下困难:首先，对于遥感小目标的检测，传统算法的感知和识别灵敏度较低，偏好大目标的检测。这是因为小目标的细节信息往往难以被模型捕获，从而
5、大多数现有的算法倾向于单模态目标检测，这种算法在检测大尺寸样本时更有效，而在检测特征代表性较弱的样本时效率较低。在单一模式下提取的特征缺乏足够的细粒度信息，对于感知目标的边缘信息不够敏感。因此，对于这些对象，传统的单模态目标检测方法存在一些局限性。
技术实现思路
1、为克服上述现有技术存在的缺点，本专利技术提供了一种基于yolov5s的多模态融合的目标检测方法及系统，将yolov5s作为检测的基准模型，提出了一种新的融合体系结构融合红绿蓝图像和红外图像的图像信息，并引入双层路由注意力机制(bra)模块来增强模型在遥感图像中提取细粒度特征的能力，并设计了一个新的损失函数，以更好地测量模型预测和实际标签之间的差异，指导模型的优化，共同提高了模型的检测精度和速度。
2、为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
3、第一方面，一种基于yolov5s的多模态融合的目标检测方法，包括以下步骤：
4、获取遥感图像的红绿蓝图像和红外图像；
5、将所述红绿蓝图像和红外图像输入图像融合网络中进行像素级的融合，得到融合特征图；
6、将所述融合特征图直接输入至yolov5s的骨干网络进行特征提取，得到不同尺度的特征图；所述yolov5s的骨干网络中增加双层路由注意力机制模块；
7、将不同尺度的特征图输入至颈部网络实现浅层图形特征和深层语义特征的融合，得到融合后的不同尺度的特征图；
8、将所述融合后的不同尺度的特征图输入检测器，输出目标检测结果。
9、进一步的，所述图像融合网络包括依次设置的卷积注意力机制模块、卷积模块、se注意力模块和无参数注意力模块；所述图像融合网络以双向对称方式融合红绿蓝图像和红外图像的内部特征信息。
10、进一步的，所述双层路由注意模块将特征图划分为单个大小相同的区域，并使用平均池计算区域级特征，然后执行粗粒度区域级路由计算和读取关联度，接下来，执行规范化公钥并收集分散的键值对。
11、进一步的，所述目标检测方法采用n-iou损失函数表示差异程度。
12、第二方面，一种基于yolov5s的多模态融合的目标检测系统，包括：
13、数据采集模块：获取遥感图像的红绿蓝图像和红外图像；
14、图像融合模块：将所述红绿蓝图像和红外图像输入图像融合网络中进行像素级的融合，得到融合特征图；
15、特征提取模块：将所述融合特征图直接输入至yolov5s的骨干网络进行特征提取，得到不同尺度的特征图；所述yolov5s的骨干网络中增加双层路由注意力机制模块；
16、特征融合模块：将不同尺度的特征图输入至颈部网络实现浅层图形特征和深层语义特征的融合，得到融合后的不同尺度的特征图；
17、分类预测模块：将所述融合后的不同尺度的特征图输入检测器，输出目标检测结果。
18、一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于yolov5s的多模态融合的目标检测方法及系统。
19、一个或多个实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现所述的一种基于yolov5s的多模态融合的目标检测方法及系统。
20、以上一个或多个技术方案存在以下有益效果：
21、单一模态图像的信息容量是有限的，不能完全捕捉到物体、场景或事件的所有细节和特征，本专利技术采用模态融合的方法对红外和rgb图像进行融合，提供更丰富、更全面的被检测目标特征信息。模态融合可以结合红外图像和可见光图像各自的独特优势，提高对待检测目标的感知能力，通过模态融合将红外图像与可见光图像相结合，可以更全面、更深入地了解和表达待检测目标的特征。
22、本专利技术选择yolov5s作为检测的基准模型，提出了一种新的融合体系结构mf，卷积网络同时利用红外图像和rgb图像，可以获得更全面、更丰富的信息，融合两种模式的图像信息可以提高模型感知和理解目标特征的能力。
23、本专利技术对基准模型进行了改进，引入双层路由注意力机制模块来增强模型在遥感图像中提取细粒度特征的能力，通过设计一个新的损失函数，可以更好地测量模型预测和实际标签之间的差异，并指导模型的优化，改进后的损失函数能更准确地评估模型的性能，并改善模型在遥感目标检测任务中的性能，在vedai数据集上实现了76.62％的准确率(就map50而言)。
本文档来自技高网...【技术保护点】
1.一种基于YOLOv5s的多模态融合的目标检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于YOLOv5s的多模态融合的目标检测方法，其特征在于，所述图像融合网络包括依次设置的卷积注意力机制模块、卷积模块、SE注意力模块和无参数注意力模块。
3.如权利要求2所述的一种基于YOLOv5s的多模态融合的目标检测方法，其特征在于，所述图像融合网络以双向对称方式融合红绿蓝图像和红外图像的内部特征信息。
4.如权利要求1所述的一种基于YOLOv5s的多模态融合的目标检测方法，其特征在于，所述双层路由注意模块将特征图划分为单个大小相同的区域，并使用平均池计算区域级特征。
5.如权利要求4所述的一种基于YOLOv5s的多模态融合的目标检测方法，其特征在于，计算区域级特征之后执行粗粒度区域级路由计算和读取关联度。
6.如权利要求5所述的一种基于YOLOv5s的多模态融合的目标检测方法，其特征在于，计算和读取关联度之后执行规范化公钥并收集分散的键值对。
7.如权利要求1所述的一种基于YOLOv5s的多模态融
8.一种基于YOLOv5s的多模态融合的目标检测系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于YOLOv5s的多模态融合的目标检测方法。
10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于YOLOv5s的多模态融合的目标检测方法。
...【技术特征摘要】
1.一种基于yolov5s的多模态融合的目标检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于yolov5s的多模态融合的目标检测方法，其特征在于，所述图像融合网络包括依次设置的卷积注意力机制模块、卷积模块、se注意力模块和无参数注意力模块。
3.如权利要求2所述的一种基于yolov5s的多模态融合的目标检测方法，其特征在于，所述图像融合网络以双向对称方式融合红绿蓝图像和红外图像的内部特征信息。
4.如权利要求1所述的一种基于yolov5s的多模态融合的目标检测方法，其特征在于，所述双层路由注意模块将特征图划分为单个大小相同的区域，并使用平均池计算区域级特征。
5.如权利要求4所述的一种基于yolov5s的多模态融合的目标检测方法，其特征在于，计算区域级特征之后执行粗粒度区域级路由计算和读取关联度。
【专利技术属性】
技术研发人员：李爱民，李文强，李志窈，孔晓同，张跃晨，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。