基于多模态融合的三维目标检测方法及系统技术方案

本发明专利技术公开了基于多模态融合的三维目标检测方法及系统，其中方法包括下列步骤：S1、获取相机采集的图像数据；S2、获取激光雷达采集的原始的点云数据，并对点云进行降噪预处理；S3、将图像和点云的数据分别输入到训练后的相应网络中，获得对应的图像特征和点云特征；S4、将二维图像的图像特征映射到三维的点云空间坐标系；S5、将所述点云特征与映射后的图像特征进行级联，将其输入到自适应表现力增强融合模块，进行重新校准，得到加权后的融合特征；S6、将加权后的融合特征输入到检测输出网络，对目标进行边界框的生成，进而完成三维目标检测。本发明专利技术有效的抑制了不重要的特征表现，可以提升后续检测输出模块的3D目标检测的精度。以提升后续检测输出模块的3D目标检测的精度。以提升后续检测输出模块的3D目标检测的精度。

【技术实现步骤摘要】
基于多模态融合的三维目标检测方法及系统


[0001]本专利技术属于自动驾驶环境感知
，具体基于多模态融合的三维目标检测方法及系统。

技术介绍

[0002]随着深度学习的快速发展，自动驾驶技术得到了巨大的推动力。作为自动驾驶感知技术的重要组成部分，三维目标检测为自动驾驶提供了基础条件，可为车辆路径规划和行为决策提供数据支持。自动驾驶需要对空间中的障碍物进行准确定位和检测，以避免复杂交通场景下的车辆事故。因此，如何通过不同的方式实现高精度、高效率的目标检测越来越受到研究人员的关注。多模态融合目标检测在复杂交通场景下表现良好，可以弥补不同信息的不足，实现各种传感器之间的信息互补，从而成为研究人员的研究热点。然而由于自动驾驶场景中会存在光照变化、目标遮挡等问题，现有的三维目标检测算法会受到很大干扰，因此会出现检测漏检、误检和检测精度低情况，而如何更好解决这些问题面临着很大的挑战。

技术实现思路

[0003]本专利技术的目的是提供基于多模态融合的三维目标检测方法，用于解决现有技术中由于自动驾驶场景中会存在光照变化、目标遮挡等问题，三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态融合的三维目标检测方法，其特征在于：包括下列步骤：S1、获取相机采集的图像数据；S2、获取激光雷达采集的原始的点云数据，并对点云进行降噪预处理；S3、将图像和点云的数据分别输入到训练后的相应网络中，获得各自数据中目标的深度语义特征信息，即对应的图像特征和点云特征；S4、将二维图像的图像特征映射到三维的点云空间坐标系；S5、将所述点云特征与映射后的图像特征进行级联，将级联后的图像和点云特征输入到自适应表现力增强融合模块，对融合特征进行重新校准，将权重与原始对应通道相乘得到加权后的融合特征；S6、将加权后的融合特征输入到检测输出网络，对目标进行边界框的生成，进而完成三维目标检测。2.根据权利要求1所述的基于多模态融合的三维目标检测方法，其特征在于：所述步骤S3包括：S3.1、对被配置为点云的数据进行处理：使用PointNet网络作为点云特征提取的主干网络对输入的点云的数据进行特征提取；S3.2、对被配置为图像的数据进行处理：使用MobileNetv2深度神经网络作为基础卷积层对输入的图像数据进行特征提取。3.根据权利要求2所述的基于多模态融合的三维目标检测方法，其特征在于：所述步骤S3.1具体包括：根据PointNet的直接坐标卷积法构造点云的输入特征层，并对原始数据坐标信息进行计算，得到输入特征图，再利用卷积神经网络完成对点云特征的提取；所述步骤S3.2具体包括：模型使用已经训练好的MobileNetv2的前几层参数作为图像特征提取器的初始卷积核值，获得图像特征。4.根据权利要求1所述的基于多模态融合的三维目标检测方法，其特征在于：所述步骤S4具体包括：首先，给定点云鸟瞰图上的目标像素点i，并且提取K(一般选取十个点)个距离目标像素点最近的激光雷达点云j；然后我们将激光雷达点云j投影到相机前视图得到对应的相邻像素点x
j
；检索与目标像素点i相应的图像特征点x
i
；从各个相邻像素点x
j
到相机前视图上与图像特征点x
i
做差得到连续几何偏移x
j
‑
x
i
；最后，我们将相邻像素点x
j
对应的输入图像特征f
j
和连续几何偏移x
j
‑
x
i
输入BP神经网络以生成对应的映射到三维的点云空间坐标系的特征；对于每个目标像素点i，BP神经网络通过对其所有相邻像素点x
j
的BP神经网络输出求和来输出其图像特征点x
i
映射到三维的点云空间坐标系的图像特征h
i
，公式如下，其中，f
j
是对应激光雷达点云j的输入图像特征，x
j
‑
x
i
是从相邻像素点j到目标i在相机前视图上投影产生的几何偏移量，concat(
·
)是多个向量的串联。5.根据权利要求1所述的基于多模态融合的三维目标检测方法，其特征在于：所述步骤S5中，借助注意力机制构建了自适应表现力增强融合模块，采用自适应表现力增强融合模块来增强不同特征的表现力，重点关注重要特征，同时抑制非重要特征，具体包括：首先给定一个输入的图像和点云的级联特征，特征层的大小为H
×
W
×
C。通过最大池化操作后，将
候选大小变为1
×
1；然后，第一个全连接层是用于将通道数减少到C/r，r是用于减少通道数从而减少计算量的缩放因子；接着使用ReLU激活函数，特征的维数保持不变；第二个全连接...

【专利技术属性】
技术研发人员：时培成，刘志强，齐恒，李屹，张荣芸，杨礼，杨爱喜，王远志，马永富，武新世，潘佳伟，
申请(专利权)人：安徽工程大学，
类型：发明
国别省市：