基于跨模态特征重构和通道交换机制的多光谱行人检测方法技术

本发明专利技术公开了一种基于跨模态特征重构和通道交换机制的多光谱行人检测方法，包括：准备标注完成的多模态图像数据集；构建双路骨干网络，用于从可见光图像和红外图像中提取特征；对所构建的双路骨干网络采用RepViTBlock进行轻量化改进；构建跨模态特征重建子网络；将得到的通道细化特征Y进行通道交换，以融合多模态特征；构建空间重建模块，通过空间维度来重建可见光和红外模态特征，减少特征的空间冗余；构建基于跨模态特征重建和通道交换机制的多光谱行人检测网络。本发明专利技术采用通道交换机制在不同模态之间动态交换信道以促进多模态融合，有效减少冗余计算并充分挖掘具有代表性的多模态互补特征，提升检测性能的同时显著降低了计算复杂度。

【技术实现步骤摘要】

本专利技术涉及计算机数字图像处理，尤其涉及一种基于跨模态特征重构和通道交换机制的多光谱行人检测方法。

技术介绍

1、目标检测是计算机视觉的一个重要分支，在现实世界中有着广泛的应用。单模态的目标检测容易受环境因素的限制，从而影响检测精度。近年来，多模态目标检测引起了人们的极大关注，因为不同模态特有的信息可以相互补充，有效地提高检测模型的准确性和稳定性。多模态检测的目标与单模态检测相同，许多相关研究都是基于传统的rgb检测模型，如使用yolov5作为检测框架，其中添加了一个额外的骨干网络作为红外模态的特征提取器，使用跨模态注意特征融合模块来识别输入模态之间的相关性；中国专利技术专利cn116630608a，通过构建双流主干网络提取多尺度特征，并采用注意力机制和中间融合策略来融合多模态特征和解决模态平衡问题。中国专利技术专利cn116797893a，其采用了照明感知技术手段，允许检测模型根据光照条件调整不同输入模态的权重。中国专利技术专利cn116824259a，通过单模态检测结果生成特征的方法进行目标检测。

2、但是，为了提高多模态目标检测的效果，本文档来自技高网...

【技术保护点】

1.一种基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：所述步骤(1)采用公开的可见光-红外图片对数据集，即LLVIP数据集，并将数据集按8∶2比例划分为训练集和验证集。

3.根据权利要求1所述的基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：所述步骤(2)采用双路YOLOV8的骨干网络分别提取多尺度的可见光和红外图片特征图，两路网络具有相同的结构，公式化为：

4.根据权利要求1所述的基于跨模态特征重构和通道交换...

【技术特征摘要】

1.一种基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：所述步骤(1)采用公开的可见光-红外图片对数据集，即llvip数据集，并将数据集按8∶2比例划分为训练集和验证集。

3.根据权利要求1所述的基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：所述步骤(2)采用双路yolov8的骨干网络分别提取多尺度的可见光和红外图片特征图，两路网络具有相同的结构，公式化为：

4.根据权利要求1所述的基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：所述步骤(3)包括将bottleneck替换为repvitblock模块，并重复构建n个，每个repvitblock中的使用分离结构的token mixer和channel mixer，通过结构重新参数化技术消除推理过程中的计算和内存消耗，token mixer采用并行的3×3和1×1dw卷积，分别来融合空间信息和实现信道之间的交互，channelmixer由前馈神经网络(ffn)组成。

5.根据权利要求1所述的基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：所述步骤(4)包括：

6.根据权利要求1所述的基于跨模态特征重构和通道交换机制的多光谱行人检测方法，其特征在于：所述步骤(5)包括将整个通道...

【专利技术属性】
技术研发人员：项靖，姜明新，杜强，洪远，黄俊闻，王杰，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：