三维运动目标检测方法、装置和设备制造方法及图纸

本申请涉及一种三维运动目标检测方法、装置、计算机设备和存储介质。所述方法包括：获取场景中待检测运动目标的原始点云；对所述原始点云进行数据增强和数据精简，得到点云精简数据；通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通过梯度集成网络将梯度的变化集成到特征图中，得到点云集成特征；对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。采用本方法能够提高三维点云目标检测算法的检测精确度和鲁棒性，提升相关应用场景中的实际应用效率。实际应用效率。实际应用效率。

【技术实现步骤摘要】
三维运动目标检测方法、装置和设备


[0001]本申请涉及机器视觉
，特别是涉及一种三维运动目标检测方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着机器视觉领域中三维扫描仪器和深度传感器的快速发展，三维场景下的应用也相应的得到了越来越广泛的研究，诸如智能机器人、无人驾驶技术、增强现实和虚拟现实等领域的三维应用不断增加。而作为三维场景下重要的数据表征格式之一的点云数据也得到了越来越多的研究与应用。点云数据是在三维度量空间中定义的一组点的集合，实际应用场景中的点云是场景中物体表面周围的一组3D点。与此同时，在某些特殊环境下，可见光传感器有很大的局限性，这时候就需要非可见光传感器进行环境感知操作，并进行一定的数据处理以方便后续研究与应用。毫米波雷达、激光雷达、TOF摄像机等非可见光传感器，都可以产生稀疏的点云数据，获取点云数据之后，再经过对点云数据进行一定程度的处理，从中检测出运动目标并应用到具体的应用场景，这对弥补可见光传感器的空缺具有很大的实际应用价值。
[0003]现有的点云数据处理方法很多，主要可以分为点云结合图片处理和直接对点云进行处理两类方法。点云结合图片的方法主要有MV3D、F
‑
PointNet、MMF等；对点云直接进行处理的方法主要有VoxelNet、SECOND、PointPillars、PointRCNN、STD、Part
‑
A2和PV
‑
RCNN等。但作为主要点云特征提取网络的PointNet仍然有很大的局限性，PointNet在通过maxpool将所有特征进行筛选的时候，没有局部概念，很难对精细的特征做学习，在分割上有很大的局限性，针对这一问题，又出现PointNet++优化了这一问题。PointNet++作为对点云直接进行处理的点云模块，具有很广泛的实际应用价值和研究价值，众多的点云目标检测算法都采用这一模块作为检测算法的主干网络特征提取部分，然而，将点云目标检测算法落地实现还需要进一步提高其鲁棒性和检测精度，也应对点云的多种应用场景进行进一步的拓展与适配。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种三维运动目标检测方法、装置、计算机设备和存储介质。
[0005]一种三维运动目标检测方法，所述方法包括：
[0006]获取场景中待检测运动目标的原始点云；
[0007]对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
[0008]通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据；
[0009]通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集成特征；
[0010]对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
[0011]在其中一个实施例中，所述点云特征包括：前景点、背景点分类结果和所述前景点、背景点对目标初始候选框的初始回归结果；所述通过特征提取网络提取所述点云精简数据中的点云特征包括：通过特征提取网络提取所述点云精简数据中的前景点、背景点分类结果和所述前景点、背景点对目标初始候选框的初始回归结果。
[0012]在其中一个实施例中，还包括：将所述点云集成特征输入预训练的区域生成网络，得到目标初始候选框；对所述前景点分类结果进行sigmoid评分，根据sigmoid评分结果得到前景点掩膜；将所述前景点掩膜、所述参考指标和所述目标初始候选框输入预训练的三维目标识别网络，得到运动目标识别结果。
[0013]在其中一个实施例中，还包括：根据所述点云精简数据，生成储存真值信息的数据集，所述数据集包括真值框的文件名、目标物类别、目标物3D信息、真值框中的点云数据信息；所述真值框对应于第一候选框。
[0014]在其中一个实施例中，还包括：根据所述初始回归结果通过基于区间的精选化操作处理所述目标初始候选框，得到第一候选框；联合比对所述第一候选框与所述真值框，筛选得到第二候选框；根据所述前景点掩膜、所述参考指标和所述第二候选框输入预训练的三维目标识别网络，得到运动目标识别结果。
[0015]在其中一个实施例中，还包括：所述前景点掩膜是所述sigmoid评分结果大于阈值的前景点。
[0016]一种三维运动目标检测装置，所述装置包括：
[0017]点云获取模块，用于获取场景中待检测目标的原始点云；
[0018]点云增强模块，用于对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
[0019]点云精简模块，用于通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据。
[0020]特征提取模块，用于通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集成特征。
[0021]三维目标识别模块，用于对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
[0022]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0023]获取场景中待检测运动目标的原始点云；
[0024]对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
[0025]通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据；
[0026]通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通
过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集成特征；
[0027]对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
[0028]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0029]获取场景中待检测运动目标的原始点云；
[0030]对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
[0031]通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据；
[0032]通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维运动目标检测方法，其特征在于，所述方法包括：获取场景中待检测运动目标的原始点云；对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据；通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集成特征；对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。2.根据权利要求1所述的方法，其特征在于，所述获取场景中待检测目标的原始点云包括：通过三维点云数据采集设备对待检测目标所在场景进行数据采集，加入负样本剔除所述场景中的无关目标，得到待检测目标的原始点云。3.根据权利要求1所述的方法，其特征在于，所述点云特征包括：前景点、背景点分类结果和所述前景点、背景点对目标初始候选框的初始回归结果；所述通过特征提取网络提取所述点云精简数据中的点云特征包括：通过特征提取网络提取所述点云精简数据中的前景点、背景点分类结果和所述前景点、背景点对目标初始候选框的初始回归结果。4.根据权利要求1所述的方法，其特征在于，将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络包括：将所述点云集成特征输入预训练的区域生成网络，得到目标初始候选框；对所述前景点分类结果进行sigmoid评分，根据sigmoid评分结果得到前景点掩膜；将所述前景点掩膜、所述参考指标和所述目标初始候选框输入预训练的三维目标识别网络，得到运动目标识别结果。5.根据权利要求1所述的方法，其特征在于，在将所述点云集成特征和所述参考指标输入预训练的目标识别网络之前，包括：根据所述点云精简数据，生成储存真值信息...

【专利技术属性】
技术研发人员：谢剑斌，王庆林，
申请(专利权)人：湖南中科助英智能科技研究院有限公司，
类型：发明
国别省市：