一种基于类别特征引导的双模态小目标检测方法技术

本发明专利技术涉及一种基于类别特征引导的双模态小目标检测方法，包括：在红外图像和可见光图像中分别裁切类别标注框对应的区域得到对应的红外类别目标区域图和可见光类别目标区域图；对红外类别目标区域图进行特征提取得到红外目标特征，基于所有类别的红外目标特征构建红外类别特征集合，对可见光类别目标区域图进行特征提取得到可见光目标特征，基于所有类别的可见光目标特征构建可见光类别特征集合；构建目标检测模型；将红外‑可见光图像对输入目标检测模型，通过红外类别特征集合和可见光类别特征集合引导模型学习小目标特征，对目标检测模型的参数进行优化，得到训练好的目标检测模型。本发明专利技术有效提升了复杂环境下小目标的检测精度和鲁棒性。

【技术实现步骤摘要】

本专利技术属于图像处理与计算机视觉，涉及一种基于类别特征引导的双模态小目标检测方法。

技术介绍

1、在计算机视觉领域，小目标检测一直是一个重要的研究课题，尤其在无人机图像、监控视频和交通监测等应用场景中，精确检测小目标具有重要意义。然而，由于小目标在图像中的占比低、特征模糊以及背景复杂等因素，传统的目标检测算法面临诸多挑战。

2、现有的小目标检测方法主要基于主流目标检测网络模型的改进，具体可分为几类：针对小目标数据量不足及分布不均的增强方法(如数据扩增技术)；解决单个特征层对小目标表征能力不足的多尺度融合策略(例如，fpn和bifpn)；提高小目标可视化特征的超分辨率方法(如超分辨率重建网络)；加强小目标携带特征信息的上下文学习方法(比如，通过上下文信息增强目标特征)；应对锚框尺寸对小目标适应性差的锚框机制(例如，基于自适应锚框的策略)；改善小目标鉴别性特征缺乏的注意力机制(如se模块和cbam)；以及基于特定场景的小目标检测策略(例如，基于视觉和红外融合的方法)。

3、双模态小目标检测在复杂应用场景中具有显著优势，能够有效应对传统本文档来自技高网...

【技术保护点】

1.一种基于类别特征引导的双模态小目标检测方法，利用训练好的目标检测模型对红外-可见光图像对进行目标检测，得到目标检测结果，其特征在于，所述目标检测模型的训练过程包括：

2.根据权利要求1所述的一种基于类别特征引导的双模态小目标检测方法，其特征在于，所述构建红外类别特征集合和可见光类别特征集合包括：

3.根据权利要求2所述的一种基于类别特征引导的双模态小目标检测方法，其特征在于，所述红外多尺度特征提取模块用于对红外图像进行多尺度特征提取得到红外图像的多尺度特征；所述可见光多尺度特征提取模块用于对可见光图像进行多尺度特征提取得到可见光图像的多尺度特征；所述红外类别特...

【技术特征摘要】

1.一种基于类别特征引导的双模态小目标检测方法，利用训练好的目标检测模型对红外-可见光图像对进行目标检测，得到目标检测结果，其特征在于，所述目标检测模型的训练过程包括：

2.根据权利要求1所述的一种基于类别特征引导的双模态小目标检测方法，其特征在于，所述构建红外类别特征集合和可见光类别特征集合包括：

3.根据权利要求2所述的一种基于类别特征引导的双模态小目标检测方法，其特征在于，所述红外多尺度特征提取模块用于对红外图像进行多尺度特征提取得到红外图像的多尺度特征；所述可见光多尺度特征提取模块用于对可见光图像进行多尺度特征提取得到可见光图像的多尺度特征；所述红外类别特征引导模块用于根据红外类别特征集合对红外图像的多尺度特征进行交叉注意力加强得到红外图像的多尺度增强特征；所述可见光类别特征引导模块用于根据可见光类别特征集合对可见光图像的多尺度特征进行交叉注意力加强得到可见光图像的多尺度增强特征；所述特征融合模块用于融合红外图像的多尺度增强特征和可见光图像的多尺度增强特征得到多尺度加权融合特征；所述特征预测模块用于根据多尺度加权融合特征输出目标检测结果。

4.根据权利要求3所述的一种基于类别特征引导的双模态小目标检测方法，其特征在于，所述红外多尺度特征提取模块采用第一resnet...

【专利技术属性】
技术研发人员：伍丽琳，高陈强，刘芳岑，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：