一种室外3D目标检测方法及系统技术方案

本申请提供了一种室外3D目标检测方法及系统，其中方法包括：获取室外目标场景中特定3D目标的点云数据，将多帧的点云数据通过数据编码转换成伪图像；在伪图像中进行等变特征提取，得到等变特征；基于等变特征，利用以中心为基准的检测器进行回归预测，得到最终的3D目标检测结果。本申请基于群等变理论，设计了一种新颖的骨干网络—等变特征提取骨干网络，该骨干网络利用等变卷积能够捕获局部区域4个方向下的特征，可以更好提取物体朝向特征信息。除此之外，本申请还提出了一种基于等变卷积的3D目标检测方法，不仅具有更优的朝向预测，且漏检误检情况更少，比其他先进方法的性能更优。比其他先进方法的性能更优。比其他先进方法的性能更优。

【技术实现步骤摘要】
一种室外3D目标检测方法及系统


[0001]本申请涉及三维检测领域，具体涉及一种室外3D目标检测方法及系统。

技术介绍

[0002]三维目标检测作为环境感知的重要手段，在自动驾驶系统中具有重要意义。激光雷达由于具有精度高、分辨率高、抗干扰能力强以及测距范围广等特点，目前大部分的室外三维目标检测方法都以其作为主要传感器。在自动驾驶应用中，为了满足实时性的要求，大部分方法首先将点云划分为规则的网格，如体素(voxel)或点云柱(pillar)。这一过程不仅对庞大的点云数据进行了降采样，而且还将不规则的数据转变成规则的，从而节省更多的内存和时间消耗。
[0003]在真实复杂的驾驶场景中，不仅需要快速准确地进行推断预测，还需要三维目标检测方法预测出物体的朝向属性。准确地识别目标朝向对于三维目标检测方法在真实驾驶场景中的应用是很重要的，它能提升智能驾驶系统的可靠性和安全性。然而，现有的三维目标检测方法并没有针对朝向方面的研究。
[0004]为了提高目标朝向预测的准确率，目前常见的方法是旋转数据增强，即在检测网络训练的时候在给定区间内给场景点云一个随机的旋转，丰富样本目标的朝向角，在一定程度上提高了检测网络的泛化性从而提高其对朝向的预测准确率。然而，数据增强的本质是增加训练样本的丰富度而一定程度上增强网络的泛化性能，并没有真正提高检测网络对物体朝向特征的捕捉能力以及朝向的预测能力。基于群的群等变卷积神经网络(Group equivariant CNN,G
‑
CNN)为传统卷积神经网络(Convolutional Neural Network,CNN)引入了旋转等变性，使得卷积操作能够在4个群元素之间共享权值，捕获某一区域四个方向下的特征，增强CNN的表达能力。

技术实现思路

[0005]为了提高三维目标检测方法的朝向预测准确率，提升其在实际驾驶场景中的应用意义，本申请提出了一种基于等变卷积的三维目标检测方法。
[0006]为实现上述目的，本申请提供了一种室外3D目标检测方法，步骤包括：
[0007]获取室外目标场景中特定3D目标的点云数据，将多帧的所述点云数据通过数据编码转换成伪图像；
[0008]在所述伪图像中进行等变特征提取，得到等变特征；
[0009]基于所述等变特征，利用以中心为基准的检测器进行回归预测，得到最终的3D目标检测结果。
[0010]优选的，所述数据编码的方法包括：
[0011]将所述点云数据输入划分为规则的点云柱；
[0012]对所述点云柱内部的点进行特征的聚合得到点云柱的特征；
[0013]基于所述点云柱的特征，经过坐标映射，完成所述数据编码。
[0014]优选的，得到所述等变特征的方法包括：构建等变特征提取骨干网络对所述伪图像进行等变特征提取，得到所述等变特征。
[0015]优选的，所述等变特征提取骨干网络包括：空间提升层和等变卷积层；
[0016]所述空间提升层用于将低维图像转换为高维图像；
[0017]所述等变卷积层用于将捕获的局部区域特征信息进行拼接，得到所述等变特征。
[0018]优选的，所述拼接的方法包括：在四个群元素之间共享所述等变卷积层的卷积核权值；基于共享的所述卷积核权值，捕获局部区域的四个方向下的特征信息；将所述特征信息进行拼接。
[0019]优选的，进行所述回归预测的方法包括：以关键点表示物体的中心，并回归朝向、尺寸和速度属性。
[0020]本申请还提供了一种室外3D目标检测系统，包括：转换模块、提取模块和预测模块；
[0021]所述转换模块用于获取室外目标场景中特定3D目标的点云数据，将多帧的所述点云数据通过数据编码转换成伪图像；
[0022]所述提取模块用于在所述伪图像中进行等变特征提取，得到等变特征；
[0023]所述预测模块用于基于所述等变特征，利用以中心为基准的检测器进行回归预测，得到最终的3D目标检测结果。
[0024]优选的，所述提取模块包括：空间提升层构建单元和等变卷积层构建单元；
[0025]所述空间提升层构建单元用于将低维图像转换为高维图像；
[0026]所述等变卷积层构建单元用于将捕获的局部区域特征信息进行拼接，得到所述等变特征。
[0027]与现有技术相比，本申请的有益效果如下：
[0028]本申请基于群等变理论，设计了一种新颖的骨干网络—等变特征提取骨干网络，该骨干网络利用等变卷积能够捕获局部区域4个方向下的特征，可以更好提取物体朝向特征信息。除此之外，本申请还提出了一种基于等变卷积的3D目标检测方法，不仅具有更优的朝向预测，且漏检误检情况更少，比其他先进方法的性能更优。
附图说明
[0029]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本申请实施例一的方法流程示意图；
[0031]图2为本申请实施例一的点云数据编码示意图；
[0032]图3为本申请实施例一的空间提升层示意图；
[0033]图4为本申请实施例一的等变卷积层示意图；
[0034]图5为本申请实施例一的等变特征提取骨干网络示意图；
[0035]图6为本申请实施例二的可视化结果示意图；
[0036]图7为本申请实施例三的系统结构示意图。
具体实施方式
[0037]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0038]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
[0039]实施例一
[0040]如图1所示，为本实施例的方法流程示意图，步骤包括：获取室外目标场景中特定3D目标的点云数据，将多帧的点云数据通过数据编码转换成伪图像；在伪图像中进行等变特征提取，得到等变特征；基于等变特征，利用以中心为基准的检测器进行回归预测，得到最终的3D目标检测结果。本实施例以多帧聚合后的激光雷达点云作为输入，最终输出若干的3D预测框，包含了物体的位置、尺寸、朝向、速度、类别等信息。
[0041]首先，进行点云数据编码。
[0042]本实施例以自动驾驶为
技术介绍
场景，为了满足自动驾驶应用的实时性要求，本实施例对网络接收的激光雷达多帧点云数据输入进行如图2所示的点云数据编码：将点云输入划分为规则的点云柱，在本实施例中对每个点云柱内部的点利用mini
‑
PointNet进行特征的聚合得到每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室外3D目标检测方法，其特征在于，步骤包括：获取室外目标场景中特定3D目标的点云数据，将多帧的所述点云数据通过数据编码转换成伪图像；在所述伪图像中进行等变特征提取，得到等变特征；基于所述等变特征，利用以中心为基准的检测器进行回归预测，得到最终的3D目标检测结果；所述数据编码的方法包括：将所述点云数据输入划分为规则的点云柱；对所述点云柱内部的点进行特征的聚合得到点云柱的特征；基于所述点云柱的特征，经过坐标映射，完成所述数据编码。2.根据权利要求1所述的室外3D目标检测方法，其特征在于，得到所述等变特征的方法包括：构建等变特征提取骨干网络对所述伪图像进行等变特征提取，得到所述等变特征。3.根据权利要求2所述的室外3D目标检测方法，其特征在于，所述等变特征提取骨干网络包括：空间提升层和等变卷积层；所述空间提升层用于将低维图像转换为高维图像；所述等变卷积层用于将捕获的局部区域特征信息进行拼接，得到所述等变特征。4.根据权利要求3所述的室外3D目标检测方法，其特征在于，所述拼接...

【专利技术属性】
技术研发人员：郭杰龙，魏宪，俞辉，邵东恒，张剑锋，李杰，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：