【技术实现步骤摘要】
本专利技术公开了一种基于差分注意力和频域融合的多光谱行人检测方法。属于图像处理和深度学习，具体涉及应用于智能交通系统的全天候行人检测。
技术介绍
1、行人检测作为计算机视觉领域的重要任务之一，在自动驾驶领域中扮演着至关重要的角色。行人是最脆弱的道路使用者，全世界范围内，每天发生的交通事故都会造成行人的死伤。因此，面向发展迅速的智能交通系统，开发更加先进的行人检测算法对于保障道路安全至关重要。检测精度和推理速度是行人检测的重要指标，错误的检测结果会导致错误的决策，检测的延迟则会导致决策的不及时。因此，如何构建低延时、高精度的行人检测模型是具有挑战性的。rgb图像在目标检测方面有着重大进展，现有的行人检测大多基于良好照明条件下的可见光传感。但现实场景的光照复杂使得基于光成像的rgb图像的应用具有很大的局限性，如低照度、雨雪天气、夜间环境等，都容易造成可见光单模态目标检测框架的误检和漏检。因此，人们开始探寻其他模态的补充数据源，以减轻复杂光照带来的负面影响，进而提高检测准确性。
2、行人是具有较强的热辐射特征的，其温度与周围物体和环境具有较强的区分性，因此对光照不敏感的红外图像为研究人员探索多光谱行人检测提供了解决方案。在良好的光照条件下，可见光图像丰富的色彩和纹理能够更好的描述目标属性，而热传感保证恶光照条件下行人检测的可靠性，有效融合两种模态的特征，可以提高行人检测模型的鲁棒性，对全天候的行人检测至关重要。目前，已有大量的工作实现了基于双流卷积神经网络的rgb-红外图像目标检测。一般的框架由双模态的特征提取网络、特征融
3、总之，目前的多光谱行人检测仍然存在模态表征能力不足，特征提取不充分，融合策略缺乏特异性等。因此，本专利技术致力于探索增强两种模态对检测有益的互补信息，抑制冗余背景特征的特征融合方法，构建可靠、稳定、及时的全天候多光谱行人检测框架。
技术实现思路
1、本专利技术针对现有技术中存在的缺点和不足，提出了一种快速、稳定、精准的多光谱行人检测方法。基于双流特征提取网络，设计差分增强模块增强两模态互补信息，搭建基于频域的跨模态特征融合模块，有效构建了可见光-红外跨模态目标检测框架，对于全天候、智能化交通检测领域具有重要应用意义。
2、为实现上述目的，本专利技术的技术方案包括以下：
3、步骤1：获取可见光-红外成对图像数据集，并划分网络训练与测试集。
4、步骤2：构建基于差分注意力和频域融合的多光谱行人检测模型。
5、(2-1)：建立由全局池化、sigmoid激活组成的双模态差值信息增强分支，搭建差分注意力模块，用于挖掘两模态互补信息并增强特征。
6、(2-2)：基于频域分析的方法，建立跨模态特征融合模块，在降低低频冗余参数的同时，充分融合可见光-红外图像各层级特征。
7、(2-3)：基于vgg-16搭建双流特征提取网络，在特定层加入基于差分注意和频域融合的跨模态特征融合模块，用于增强并融合两模态各层级特征。
8、(2-4)：建立基于ssd的单阶段检测模块，将步骤(2-3)得到的多层级融合特征组送入检测头中，得到基于差分注意和频域融合的多光谱行人检测模型。
9、步骤3：初始化模型参数，利用随机梯度下降算法对多光谱行人检测模型进行训练，得到训练好的检测模型。
10、步骤4：将待测试图像输入完成训练的模型中进行测试。
11、【本专利技术的优点和积极效果】
12、与现有技术相比，本专利技术具有如下优点和积极效果：
13、第一，本专利技术面向智能交通系统中亟待解决的全天候行人检测的需求，提出了一种能够充分利用可见光和红外两种模态重要信息的多光谱行人检测框架，能够实现快速、精准、稳定的道路场景行人检测。
14、第二，本专利技术创新的构建了基于频域的多光谱特征融合模块，充分考虑低频特征冗余信息多，高频更能描述特征边缘变化的特点，提出了特征分频融合的方法，并通过降维低频特征，降低模型参数量，在频域维度提出了多模态特征融合新方案。
15、第三，本专利技术建立了基于通道注意力的双模态差值信息增强模块，使模型更关注双模态互补信息，提高了特征表达能力，增强关键信息重要度，进一步提高检测精确度。
本文档来自技高网...【技术保护点】
1.一种基于差分注意力和频域融合的多光谱行人检测方法，其特征在于，所述方法具体包括以下步骤：
【技术特征摘要】
1.一种基于差分注意力和频域融合的多光谱行人检...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。