基于跨模态注意融合网络的低光环境多光谱行人检测方法技术

一种基于跨模态注意融合网络的低光环境多光谱行人检测方法，通过在离线阶段构造包含双流特征提取骨干网络(CSPDarknet53)、多模型聚合Transformer网络(MFT)、双模型特征聚合网络(DMFF)和检测头的行人检测网络，采用多光谱数据集进行训练后，在在线阶段通过训练后的行人检测网络进行实时图像处理。本发明专利技术能够对小物体产生更好的像素级注意力，增强不同尺度下的特征表示。

【技术实现步骤摘要】

本专利技术涉及的是一种图像处理领域的技术，具体是一种基于跨模态注意融合网络的低光环境多光谱行人检测方法。

技术介绍

1、现有技术在多光谱行人检测方面存在几个显著缺陷。传统检测方法对复杂环境和低光照条件的适应性不足，导致行人识别率大幅下降。其次许多现有模型主要依赖单一模态的信息，未能有效整合多种模态数据的优势，导致信息利用不充分。现有算法在特征提取和融合阶段往往缺乏灵活性，难以应对多样化的场景变化。部分方法计算复杂度高，实时性能不足，无法满足实际应用中的快速响应需求。很多技术在处理遮挡和背景干扰时表现不佳，这进一步降低了检测的准确性和鲁棒性。这些缺陷限制了多光谱行人检测技术的广泛应用，急需新的解决方案。

技术实现思路

1、本专利技术针对现有卷积神经网络的卷积层通常采用较小的内核，其感受野有限，因此很难捕捉到光谱内和光谱间图像的长距离空间依赖关系的不足，以及现有多模态目标跟随特征融合不充分、物体特征表示不佳、遮挡和光线变化等的检测精度较低的问题，提出一种基于跨模态注意融合网络的低光环境多光谱行人检测方法，能够对小本文档来自技高网...

【技术保护点】

1.一种基于跨模态注意融合网络的低光环境多光谱行人检测方法，其特征在于，通过在离线阶段构造包含双流特征提取骨干网络(CSPDarknet53)、多模型聚合Transformer网络(MFT)、双模型特征聚合网络(DMFF)和检测头的行人检测网络，采用多光谱数据集进行训练后，在在线阶段通过训练后的行人检测网络进行实时图像处理。

2.根据权利要求1所述的基于跨模态注意融合网络的低光环境多光谱行人检测方法，其特征是，所述的行人检测网络，包括：双流特征提取骨干网络(CSPDarknet53)、多模型聚合Transformer网络(MFT)、双模型特征聚合网络(DMFF)和检测头，其中...

【技术特征摘要】

1.一种基于跨模态注意融合网络的低光环境多光谱行人检测方法，其特征在于，通过在离线阶段构造包含双流特征提取骨干网络(cspdarknet53)、多模型聚合transformer网络(mft)、双模型特征聚合网络(dmff)和检测头的行人检测网络，采用多光谱数据集进行训练后，在在线阶段通过训练后的行人检测网络进行实时图像处理。

2.根据权利要求1所述的基于跨模态注意融合网络的低光环境多光谱行人检测方法，其特征是，所述的行人检测网络，包括：双流特征提取骨干网络(cspdarknet53)、多模型聚合transformer网络(mft)、双模型特征聚合网络(dmff)和检测头，其中：cspdarknet53从红外图像和可见光图像的双峰图像特征；mft根据双峰图像特征，融合cspdarknet53中的不同尺度的上下文信息并生成多尺度特征，以提升像素级的注意力分布；dmff对多尺度特征进行深度融合，最大限度地提高了多尺度特征之间的相关性，大大增强了特征对语义信息和几何细节的表达能力；检测头对深度融合后的特征进行行人识别和融合特征的定位。

3.根据权利要求1或2所述的基于跨模态注意融合网络的低光环境多光谱行人检测方法，其特征是，具体包括：

4.根据权利要求2或3所述的基于跨模态注意融合网络的低光环境多光谱行人检测方法，其特征是，所述的双流特征提取骨干网络采用并行的一对yolov5实现，其中：rgb路径和ir路径yolov5分别根据输入的rgb图像和ir图像信息，分别关注颜色、纹理并提取rgb特征、关注温度变化并提取环境中的热辐射特征。

5.根据权利要求2或3所述的基于跨模态注意融合网络的低光环境多光谱行人检测方法，其特征是，所述的多模型聚合transformer网络包括：自注意力模块(sab)单元、自聚合模块(sam)单元、多层感知器(mlp)单元，其中：sab单元根据输入图像的特征信息，将图像转化为序列，通过局部-全局注意交互，加强特征的表示和学习能力，实现对序列模型的多层学习，从而提取序列中位置、上下文和依赖关系的语义信息，sam单元根据输入的特征序列信息，...

【专利技术属性】
技术研发人员：任国印，李龚，梁琪，王静宇，于芷杰，姜博，郭棋丹，
申请(专利权)人：内蒙古科技大学，
类型：发明
国别省市：