基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测方法技术

本发明专利技术涉及一种基于动态网络特征融合和YOLOv5的RGB

【技术实现步骤摘要】
基于动态网络特征融合和YOLOv5的RGB
‑
红外多源图像目标检测方法


[0001]本专利技术属于计算机视觉目标检测
，具体涉及一种基于动态网络特征融合和YOLOv5的RGB
‑
红外多源图像目标检测方法。

技术介绍

[0002]目标检测作为计算机视觉中最基本、最具挑战性的任务之一，旨在找出图像中特定的目标，并对目标进行定位和分类。近年来，随着计算机硬件资源和深度卷积算法的突破性发展，基于深度卷积的可见光目标检测算法在精度和性能方面发展迅猛，被广泛应用于视频监控、自动驾驶、智慧交通、工业检测等领域。
[0003]单一的可见光(以下称RGB)模态通常包含丰富的细节纹理和色彩信息，但在低光照、有遮挡、恶劣天气等场景下，成像质量较差，难以支持现实任务要求。而红外图像的成像不受光照等因素影响，可以正确反映场景温度分布，凸出目标红外特点。因此，协同利用不同视觉传感器进行多源图像目标检测，具有抗干扰、跨昼夜工作的优点，具有重要的现实意义和科研价值。
[0004]Zhang等人在文献“Cross
...

【技术保护点】

【技术特征摘要】
1.一种基于动态网络特征融合和YOLOv5的RGB
‑
红外多源图像目标检测模型，其特征在于包括多源特征提取模块和动态网络多源特征融合模块，所述的多源特征提取模块用于提取输入网络的RGB
‑
红外图像对的特征信息；所述的动态网络多源特征融合模块整合了压缩
‑
激发注意力模块、卷积块注意力模块、全局上下文注意力模块和金字塔拆分注意力模块共四种注意力机制，用于获取通道级、空间级和上下文长距离联系的多源特征信息，并使用混合专家模型动态网络架构对多源特征进行动态加权融合。2.一种利用权利要求1所述的模型实现的基于动态网络特征融合和YOLOv5的RGB
‑
红外多源图像目标检测方法，其特征在于步骤如下：步骤1：将RGB
‑
红外图像对输入多源特征提取模块进行多阶段特征提取，得到和五种不同尺度的RGB
‑
红外多源图像特征，之后将和特征进行通道拼接，通过空间金字塔池化SPPF操作，获取更大感受野的特征图；步骤2：将多源特征提取模块提取到的RGB
‑
红外特征和送入动态多源特征融合网络进行注意力增强和动态多源特征融合，得到融合后的和特征图；步骤3：将和三个尺度的特征图送入类似路径聚合网络的网络结构，进行自顶向下和自底向上的支路融合处理，得到和三个尺度的特征图；步骤4：使用三个参数独立的目标检测头在和特征图上进行目标检测，并将三个尺度的检测结果汇合后通过非极大值抑制方法进行后处理，得到最终的RGB
‑
红外检测结果。3.根据权利要求2所述基于动态网络特征融合和YOLOv5的RGB
‑
红外多源图像目标检测方法，其特征在于：步骤S1中将RGB
‑
红外图像对输入多源特征提取模块进行多阶段特征提取，是指对RGB
‑
红外图像进行n次卷积操作和1次空间金字塔池化操作，得到多尺度的多源特征图。4.根据权利要求2所述基于动态网络特征融合和Y...

【专利技术属性】
技术研发人员：张艳宁，张秀伟，汪进中，倪涵，王文娜，尹翰林，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：