一种基于关键点的3D目标检测方法技术

本发明专利技术涉及激光雷达数据处理与目标识别技术领域,涉及一种基于关键点的3D目标检测方法，包括第一阶段：进行模型训练流程,产生模型；第二阶段：使用训练流程产生的模型,进行预测流程,产生3D目标信息,从而完成3D目标检测；本发明专利技术基于关键点为LiDAR点云构建了3D检测网络结构,这是一种基于关键点的无锚3D检测方法，首先,我们提出了一个分支,用于回归3D目标的关键点；接着我们提出了一个关键点之间连接关系的辅助训练模块,该模块通过回归同一个3D目标的点与点之间的连接关系实现框的精准定位,同时该模块使3D检测方法无需花费额外成本即可获得更好的性能。

【技术实现步骤摘要】
一种基于关键点的3D目标检测方法
本专利技术涉及激光雷达数据处理与目标识别
,涉及一种基于关键点的3D目标检测方法。
技术介绍
基于视觉的目标检测是点云数据处理和计算机视觉领域的重要研究方向之一,可应用于自动驾驶系统中的车辆、行人、交通标志等目标检测、视频监控中的异常事件分析,以及服务机器人等诸多领域。近年来,随着深度神经网络的发展,包括点云数据分类、目标检测以及语义分割等方面的研究均取得了显著进展，特别是在目标检测领域,出现了以R-CNN、FastRCNN、MaskRCNN为代表的two-stage网络框架和以YOLO、SSD为代表的one-stage的网络框架。无论何种框架,基于深度学习的二维目标检测算法在准确性和实时性上较以往基于特征的机器学习方法都获得了较大提升。但是,由于二维目标检测只用于回归目标的像素坐标,缺乏深度、尺寸等物理世界参数信息,在实际应用中存在一定局限性,特别是在自动驾驶车辆、服务机器人的感知中,往往需要结合激光雷达、毫米波等传感器实现多模态融合算法,以增强感知系统的可靠性。因此,研究者们提出了三维目标检测的相关方法,旨在获取三维空间中的目标位置、尺寸以及姿态等几何信息；现有的三维目标检测算法根据传感器不同,大致可以分为视觉、激光点云和多模态融合三类。视觉方法由于其成本低、纹理特征丰富等优势,在目标检测领域中被广泛使用,并且可根据相机类型分为单目视觉和双目/深度视觉两类。前者关键问题在于无法直接获取深度信息,从而导致目标在三维空间中的定位误差较大；而后者不仅提供了丰富的纹理信息,还具有较为准确的深度信息,目前相比前者具有更高的检测精度。对于支撑实现自动驾驶功能的车载智能计算平台而言,激光雷达是车辆进行周围环境感知的一种重要设备。激光雷达也是车辆以及机器人进行周围环境感知的一种重要手段,激光雷达包括激光发射系统、激光接收系统和转动组件,激光发射系统一般由一个单束多线窄带激光器组成,激光器以一定的频率向朝向方向发射激光脉冲,激光脉冲在衰减距离内如果打在物体表面就会反射回来,最后被接收系统接收。转动组件通过不间断的转动,使单束多线激光脉冲实现360度周围环境信息的采集,发射器的发射频率可以达到每秒上百万个脉冲,与此同时,接收器也会在相应的时间内接收这些脉冲反射回的激光点,由大量的激光点共同构成可以勾勒周边环境的点云特征图。其中,任意单个点的特征记为pi＝(xi,yi,zi,ri),xi,yi,zi分别为X、Y、Z轴下的空间坐标值,ri为反射强度；通过大量点集进行坐标描述,从而可以将该点云数据应用于不同的感知方法,实现对周围环境3D感知。由激光雷达的工作特性可知,激光脉冲沿直线运动,已知光的速度是确定的,根据发射时间和接收时间的时间差,可以得到物体表面与发射点的直线距离，同时结合激光脉冲的发射角度,如果以激光雷达中心做为坐标系原点,则可以得到激光反射点精确的X、Y、Z相对坐标信息，从而可以还原周围环境精确的空间信息。但由于激光雷达的特殊的感知特性,导致激光雷达产生的点云数据存在稀疏、无序及存在噪声的特点,其稀疏性体现在两个方面：一方面是由于激光雷达单位时间内产生的激光脉冲有限,所以是对周边障碍物信息进行离散采样,这种离散采样的特性导致即使在物体表面形成的局部点云特征具有稀疏的特性；另一方面空间障碍物相较于整个空间存在稀疏性。相较于相机等传感器产生的自然点云数据,点云数据在描述空间特性是时点的次序无关。除此之外激光雷达在接收激光脉冲时,存在少数噪声反射点,导致形成的点云数据存在部分孤立的、错误的噪声点，因此,设计恰当的感知算法进行3D目标检测是十分重要的。目前,有三种类型的点云表示,作为3D探测器输入：1)基于点的表示。直接处理原始点云,并根据每个点预测边界框。2)基于体素的表示。使用2D/3D体素化将原始点云转换为紧凑的表示形式。3)点和体素混合表示。在这些方法中,将点和体素都用作输入,并且将其特征融合到网络的不同阶段以进行边界框预测。不同的方法可能会消耗不同类型的点云表示形式。现有的一阶段3D对象检测方法可以实现实时性能,但是,它们被基于锚的检测器所支配,该检测器效率低下并且需要额外的后处理，在本文中,我们消除了锚点并将对象建模为单个点-其边界框的中心点。基于中心点,我们提出了无锚的3D检测网络,该网络无需锚点即可执行3D对象检测，我们的3D检测使用关键点估计来找到中心点并直接使3D边界框回归，但是,由于点云的固有稀疏性,因此3D对象中心点很可能位于空白区域,这使得难以估计准确的边界。为了解决这个问题,我们提出了一个辅助连接关系回归模块,以强制CNN骨架对关键点之间的连接关系给予更多关注,从而有效地获得更准确的边界框，此外,我们的3D检测不受非最大抑制的影响,这使其更有效,更简单。
技术实现思路
鉴于上述技术问题，本专利技术提供了一种基于关键点的3D目标检测方法。本专利技术为解决上述技术问题所采用的技术方案为：一种基于关键点的3D目标检测方法，其特征在于，所述方法包括：第一阶段：进行模型训练流程,产生模型；第二阶段：使用训练流程产生的模型,进行预测流程,产生3D目标信息,从而完成3D目标检测。上述的基于关键点的3D目标检测方法，其特征在于，第一阶段中，所述模型为卷积神经网络模型。上述的基于关键点的3D目标检测方法，其特征在于，第二阶段中具体包括：步骤1：获取含有待检测的点云数据,进行数据处理；步骤2：通过经训练的所述卷积神经网络模型对点云数据进行检测,得到检测结果。上述的基于关键点的3D目标检测方法，其特征在于，步骤2中，所述的检测结果包括3D目标信息的关键点位置信息和关键点连接关系信息。上述的基于关键点的3D目标检测方法，其特征在于，所述关键点包括3D目标的斜对角的起始点、中间点和结束点。上述技术方案具有如下优点或有益效果：本专利技术提出了一种基于关键点的3D目标检测方法，基于关键点为LiDAR点云构建了3D检测网络结构,这是一种基于关键点的无锚3D检测方法，首先,我们提出了一个分支,用于回归3D目标的关键点；接着我们提出了一个关键点之间连接关系的辅助训练模块,该模块通过回归同一个3D目标的点与点之间的连接关系实现框的精准定位,同时该模块使3D检测方法无需花费额外成本即可获得更好的性能。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未可以按照比例绘制附图，重点在于示出本专利技术的主旨。图1是基于关键点的3D目标检测方法的基本流程图；图2是基于关键点的3D目标检测方法的网络结构图；图3是基于关键点的3D目标检测方法的矢量图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例本文档来自技高网...

【技术保护点】
1.一种基于关键点的3D目标检测方法，其特征在于，所述方法包括：/n第一阶段：进行模型训练流程,产生模型；/n第二阶段：使用训练流程产生的模型,进行预测流程,产生3D目标信息,从而完成3d目标检测。/n

【技术特征摘要】
1.一种基于关键点的3D目标检测方法，其特征在于，所述方法包括：
第一阶段：进行模型训练流程,产生模型；
第二阶段：使用训练流程产生的模型,进行预测流程,产生3D目标信息,从而完成3d目标检测。


2.根据权利要求1所述的基于关键点的3D目标检测方法，其特征在于，第一阶段中，所述模型为卷积神经网络模型。


3.根据权利要求2所述的基于关键点的3D目标检测方法，其特征在于，第二阶段中具体包括：<...

【专利技术属性】
技术研发人员：张益新，
申请(专利权)人：上海雪湖科技有限公司，
类型：发明
国别省市：上海;31