一种基于多光谱交互注意力融合的无人机小目标检测方法技术

本发明专利技术公开了一种基于多光谱交互注意力融合的无人机小目标检测方法，基于改进YOLOv5网络模型的双流结构的特征提取网络分别提取红外和可见光图像特征；构建多光谱交互注意力融合模块，对同一尺度上的红外和可见光图像特征进行跨模态融合；将融合所得特征作为补充信息，增强其所在尺度上的图像特征；对各尺度上的增强后的图像特征进行求和运算，得到多尺度的联合预测特征图，并送入改进YOLOv5网络模型的Neck端处理，得到最终联合预测特征图并送入检测头开展目标检测。本发明专利技术通过构建多光谱交互注意力融合模块，实现了红外和可见光图像特征的跨模态融合，发挥了模态间的优势互补，在最终获取的联合预测特征图上开展目标检测，提高了检测的准确性和鲁棒性。

【技术实现步骤摘要】

本专利技术属于无人机目标检测领域，特别涉及一种基于多光谱交互注意力融合的无人机小目标检测方法。

技术介绍

1、近年来，随着无人机技术的发展，无人机在军用和民用领域发挥着越来越重要的作用，带来便利的同时，如何监管无人机也成为了一个巨大的挑战。一方面，在民用领域，无人机的“黑飞”、“滥飞”问题日益突出，空域内无人机的非法入侵飞行事件在国内外已屡见不鲜，不仅对公民隐私和财产安全造成了危害，更是对社会治安和人民生命安全带来了十分巨大的威胁，另一方面，在军用领域，无人机成为了现代战争的新型武器，对自杀式无人机的运用更是屡见不鲜，对无人机的检测是军事领域反制无人机的重要手段。

2、然而无人机检测领域仍存在许多问题，制约着无人机检测技术的发展。首先是无人机具有体积较小、雷达截面小、低速的特点，利用传统的雷达设备很难探测和识别出无人机，随着机器学习算法的发展和应用，无人机识别有了新的手段，即通过可见光相机拍摄到无人机视频或者照片，利用神经网络来提取特征，并采用目标检测算法检测出无人机目标。但是在夜晚、雾天等光照条件较差或遮挡严重的环境下，利用可见光相机进行无人本文档来自技高网...

【技术保护点】

1.一种基于多光谱交互注意力融合的无人机小目标检测方法，其特征在于，基于改进YOLOv5网络模型开展无人机小目标检测,包括：

2.根据权利要求1所述的一种基于多光谱交互注意力融合的无人机小目标检测方法，其特征在于，所述多光谱交互注意力融合模块实现红外图像特征和可见光图像特征融合的步骤包括：分别将展平后的红外图特征图和可见光特征图乘以三个权重矩阵，得到两组查询向量、键向量和值向量；再将来自一个模态的查询向量与另一个模态的键向量做缩放点积运算，运算结果再乘以与键向量相同模态的值向量，得到模态交互后的输出，所述模态交互后的输出再经过多头注意力机制和全连接前馈网络处理，分别得到红外和...

【技术特征摘要】

1.一种基于多光谱交互注意力融合的无人机小目标检测方法，其特征在于，基于改进yolov5网络模型开展无人机小目标检测,包括：

2.根据权利要求1所述的一种基于多光谱交互注意力融合的无人机小目标检测方法，其特征在于，所述多光谱交互注意力融合模块实现红外图像特征和可见光图像特征融合的步骤包括：分别将展平后的红外图特征图和可见光特征图乘以三个权重矩阵，得到两组查询向量、键向量和值向量；再将来自一个模态的查询向量与另一个模态的键向量做缩放点积运算，运算结果再乘以与键向量相同模态的值向量，得到模态交互后的输出，所述模态交互后的输出再经过多头注意力机制和全连接前馈网络处理，分别得到红外和可见光的输出语句，转换所述输出语句得到所述融合红外和可见光图像特征。

3.根据权利要求2所述的一种基于多光谱交互注意力融合的无人机小目标检测方法，其特征在于，为所述展平后的红外和可见光特征图添加位置编码和类别编码，得到区分后的红外特征输入嵌入it和可见光特征输入嵌入ir；所述输入嵌入it和ir分别乘以三个权重矩阵，得到所述红外特征输入嵌入it的查询向量qt、键向量kt和值向量vt，和所述可见光特征输入嵌入ir的查询向量qr、键向量kr和值向量vr。

4.根据权利要求3所述的一种基于多光谱交互注意力融合的无人机小目标检测方法，其特征在于，计算所述模态交互后的输出的公式为：

5.根据权利要求4所述的一种基于多光谱交互注意力融合的无人机小目标检测方法，其特征在于，采用多头注意力机制处理所述红外输出zt和可见光输出zr，得到多头注意力机制处理后的红外输出zt′和可见光输出zr′，采用跳跃连接将所述红外输出zt′加上所述红外特征输入嵌入it，将所述可见光输出zr′序加上所述可见光特征输入嵌入ir，得到红...

【专利技术属性】
技术研发人员：吴长柯，吴志红，陈虎，徐铸，潘涛，王夕伟，薛程，
申请(专利权)人：四川大学，
类型：发明
国别省市：