【技术实现步骤摘要】
本专利技术属于自动驾驶，具体涉及一种基于统一bev表征的多模态融合的目标检测方法。
技术介绍
1、目标检测是计算机视觉领域的一个重要任务，其应用广泛，包括自动驾驶、智能监控、机器人导航等领域。传统的目标检测方法主要基于2d图像，但在复杂场景中，特别是自动驾驶和无人机等领域，2d图像可能受到遮挡、光照等问题的干扰，因此需要更可靠的检测方法。
2、随着自动驾驶技术的快速发展，对于高精度、高可靠性的目标检测方法的需求不断增加。此外，多模态传感器(如摄像头、激光雷达、毫米波雷达等)的结合也变得越来越普遍，这使得目标检测方法需要能够有效融合不同模态的信息。同时，为了应对城市环境中的复杂情况，需要更好地理解目标在三维空间中的位置和姿态，而不仅仅是在2d图像中的位置。针对上述需求和挑战，技术研究方向逐渐向三维目标检测和多模态融合方向演进。一种潜在的方法是将目标检测从2d图像空间扩展到三维空间，以提供更多的信息，增强检测性能。
3、然而，在多传感器融合时，对于精确可靠的自动驾驶系统至关重要，现有技术中常用的方法是基于点级融合：用相机特征增强激光雷达点云。然而，相机到激光的投影丢弃了相机特征的语义信息，阻碍了这些方法的有效性，特别是对于面向语义的任务，如3d场景分割。
4、另外，对于2d感知方法，现有技术中有两种常用的方法，第一种方法是将激光雷达点云投影到摄像头图像平面上，并使用2d cnn处理rgb-d数据。然而这种激光雷达到摄像头的投影会引入严重的几何畸变，对于面向几何的任务(如3d目标识别)的效率较低。另
技术实现思路
1、鉴于上述问题，本专利技术提供了一种基于统一bev表征的多模态融合的目标检测方法。解决了现有技术中目标检测鲁棒性差、多传感器融合时视角差异协调差、相机到bev的转换效率低、恶劣环境和天气下适应性差的问题。
2、本专利技术提供了一种基于统一bev表征的多模态融合的目标检测方法，具体方法如下：
3、步骤1：使用相机采集图像；使用雷达传感器采集点云数据；
4、步骤2：提取图像的rgb图像特征；将图像投影到bev空间，获得bev空间下的bev图像特征；
5、步骤3：对点云数据进行处理，提取雷达特征，并沿z轴进行展平，获得bev空间下的雷达特征；
6、步骤4：融合获得bev空间下的bev图像特征和雷达特征，获得综合融合结果；
7、步骤5：基于综合融合结果，定义目标检测的任务头；
8、步骤6：使用端到端的感知网络对新的输入数据进行目标检测获得待测目标类别和位置信息。
9、可选地，步骤2的具体步骤为：
10、步骤21：将图像输入backbone模块，使用lss法获得rgb图像特征，使用深度估计网络估计获得深度特征；
11、步骤22：外积处理rgb图像特征和深度特征获得锥形特征；
12、步骤23：根据bev空间视角的范围，将图像划分为多个网格获得图像网格；根据聚合要求将锥形特征聚合到所述图像网格中；
13、步骤24：使用pointpillars网络结构将当前时刻的点云数据转换到bev视角下；
14、步骤25：给聚合了锥形特征的图像网络的z轴增加z轴方向的高度，获得无限高体素pillar；将当前时刻的点云数据中的每个点云分派到距离其最近的无限高体素pillar中；使用求和池化操作，将无限高体素pillar内的所有点云的特征进行求和获得每个点云的c×h×w张量，其中，c表示特征的通道数，h和w表示张量的高和宽；对c×h×w张量进行标准cnn特征提取获得bev视角下的bev特征图；基于bev特征图获得bev空间下的bev图像特征。
15、可选地，步骤3的具体步骤为：
16、步骤31：去除当前时刻的点云数据的离群点，并滤波对去除离群点的点云数据进行滤波降噪处理获得处理后点云数据；
17、步骤32：通过基于点云的深度学习网络特征提取算法提取处理后的点云中与物体形状、结构以及位置相关的特征；
18、步骤33：对处理后的点云数据进行bev视角的转换，将三维点云映射到平面上，并获取环境信息；
19、步骤34：对bev空间中的点云数据进行沿z轴的展平，获得bev空间下的雷达特征。
20、可选地，通过加权融合和特征级融合两种方式进行融合。
21、可选地，加权融合时，给bev图像特征和雷达特征中的每个特征分配一个融合权重；按照融合权重将bev图像特征和雷达特征相加获得加权融合结果。
22、可选地，采用逐元素操作将bev图像特征和雷达特征中对应位置的特征值进行特征级融合获得特征级融合结果。
23、可选地，步骤5的具体步骤为：
24、步骤51：根据具体的感知任务，定义相应的任务头；
25、步骤52：将综合融合结果输入到任务头的网络层中，根据定义的任务头，构建端到端的感知网络。
26、与现有技术相比，本专利技术至少具有现如下有益效果：
27、(1)本专利技术的方法对于图像和雷达点云，分别将他们投影到各自的bev视角下然后对齐，得到统一bev。
28、(2)本专利技术的方法在整个处理流程中，采用了lss和bevdet的方法，能够准确预测每个像素的离散深度分布。
29、(3)本专利技术的方法为了更好地处理深度信息，将每个特征像素沿相机光线分散成d个离散点，并根据深度概率对特征进行重新缩放，形成nhwd大小的相机特征点云。随后，通过bev池化操作，对每个r*r的bev网格内的所有特征进行汇总，并沿z轴对特征进行扁平化处理，使得特征更有序、更易于处理。
本文档来自技高网...【技术保护点】
1.一种基于统一BEV表征的多模态融合的目标检测方法，其特征在于，具体方法如下：
2.根据权利要求1所述的目标检测方法，其特征在于，步骤2的具体步骤为：
3.根据权利要求2所述的目标检测方法，其特征在于，步骤3的具体步骤为：
4.根据权利要求1所述的目标检测方法，其特征在于，通过加权融合和特征级融合两种方式进行融合。
5.根据权利要求4所述的目标检测方法，其特征在于，加权融合时，给BEV图像特征和雷达特征中的每个特征分配一个融合权重；按照融合权重将BEV图像特征和雷达特征相加获得加权融合结果。
6.根据权利要求4所述的目标检测方法，其特征在于，采用逐元素操作将BEV图像特征和雷达特征中对应位置的特征值进行特征级融合获得特征级融合结果。
7.根据权利要求1所述的目标检测方法，其特征在于，步骤5的具体步骤为：
【技术特征摘要】
1.一种基于统一bev表征的多模态融合的目标检测方法，其特征在于，具体方法如下：
2.根据权利要求1所述的目标检测方法，其特征在于，步骤2的具体步骤为：
3.根据权利要求2所述的目标检测方法，其特征在于，步骤3的具体步骤为：
4.根据权利要求1所述的目标检测方法，其特征在于，通过加权融合和特征级融合两种方式进行融合。
5.根据权利要求4所述的目...
【专利技术属性】
技术研发人员：周彬，杨洋，刘文韬，王昊，余贵珍，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。