目标检测方法、设备及可移动平台技术

一种目标检测方法、设备及可移动平台，该方法根据待处理点云中点的数目和每个点的属性，确定点云向量；然后利用三维卷积神经网络对点云向量进行目标三维点云特征提取，保留高度信息，进而最大程度保留点云的三维结构信息，再根据提取的目标三维点云特征确定待处理点云中的目标信息，其中，该目标信息包括目标在三维坐标系中各维度的几何位置信息。能够准确找出点云中的三维目标，解决现有目标检测结果出错率较高，后续无法指导飞机、汽车、机器人等进行避障和路径规划的问题。

【技术实现步骤摘要】
【国外来华专利技术】目标检测方法、设备及可移动平台
本申请实施例涉及检测技术，尤其涉及一种目标检测方法、设备及可移动平台。
技术介绍
随着经济技术的不断发展，飞机、汽车、机器人等应用到人们生活的很多方面，相应地，如何指导飞机、汽车、机器人等进行避障和路径规划成为人们关注焦点。在相关技术中，通常利用点云检测目标，从而指导飞机、汽车、机器人等进行避障和路径规划。尤其对于智能驾驶而言，通常都会配备激光雷达传感器，通过激光雷达传感器输出的激光点云进行目标检测。然而，上述利用点云进行目标检测时通常采用聚类算法。聚类就是将相似元素进行集合，这样，聚类结果往往准确率较低，导致上述目标检测结果出错率较高，后续无法指导飞机、汽车、机器人等进行避障和路径规划。
技术实现思路
本申请实施例提供一种目标检测方法及设备，以克服上述至少一个问题。第一方面，本申请实施例提供一种目标检测方法，包括：根据待处理点云中点的数目和每个点的属性，确定点云向量，所述点云向量包括点在三维坐标系中各维度的几何位置信息；利用三维卷积神经网络对所述点云向量处理，以提取所述点云向量的目标三维点云特征；根据所述目标三维点云特征确定所述待处理点云中的目标信息，所述目标信息包括目标在三维坐标系中各维度的几何位置信息。第二方面，本申请实施例提供一种目标检测设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机执行指令，所述处理器执行所述计算机执行指令时实现如下步骤：根据待处理点云中点的数目和每个点的属性，确定点云向量，所述点云向量包括点在三维坐标系中各维度的几何位置信息；利用三维卷积神经网络对所述点云向量处理，以提取所述点云向量的目标三维点云特征；根据所述目标三维点云特征确定所述待处理点云中的目标信息，所述目标信息包括目标在三维坐标系中各维度的几何位置信息。第三方面，本申请实施例提供一种可移动平台，包括：可移动设备平台；以及如上第二方面以及第二方面各种可能的设计所述的目标检测设备，所述目标检测设备安装于所述可移动平台本体。第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的目标检测方法。本申请实施例提供的目标检测方法、设备及可移动平台，该方法通过待处理点云中点的数目和每个点的属性，确定点云向量；然后利用三维卷积神经网络对点云向量进行目标三维点云特征提取，保留高度信息，进而最大程度保留点云的三维结构信息，再根据提取的目标三维点云特征确定待处理点云中的目标信息，其中，该目标信息包括目标在三维坐标系中各维度的几何位置信息，准确找出点云中的三维目标，解决现有目标检测结果出错率较高，后续无法指导飞机、汽车、机器人等进行避障和路径规划的问题。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1为本申请实施例提供的目标检测系统架构示意图；图2为本申请实施例提供的一种目标检测方法的流程示意图；图3为本申请实施例提供的三维卷积神经网络的示意图；图4为本申请实施例提供的另一种目标检测方法的流程示意图；图5为本申请实施例提供的一种目标检测设备的结构示意图；图6为本申请实施例提供的另一目标检测设备的结构示意图；图7为本申请实施例提供的目标检测设备的硬件结构示意图；图8为本申请实施例提供的一种可移动平台的结构示意图。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在相关技术中，通常利用点云检测目标，从而指导飞机、汽车、机器人等进行避障和路径规划。尤其对于智能驾驶而言，通常都会配备激光雷达传感器，通过激光雷达传感器输出的激光点云进行目标检测。然而，上述利用点云进行目标检测时通常采用聚类算法。聚类就是将相似元素进行集合，这样，聚类结果往往准确率较低，导致上述目标检测结果出错率较高，后续无法指导飞机、汽车、机器人等进行避障和路径规划。为了解决该技术问题，本实施例提供一种目标检测方法，通过待处理点云中点的数目和每个点的属性，确定点云向量；然后利用三维卷积神经网络对点云向量进行目标三维点云特征提取，再根据提取的目标三维点云特征确定待处理点云中的目标信息，其中，该目标信息包括目标在三维坐标系中各维度的几何位置信息。由于利用三维卷积神经网络对点云向量进行目标三维点云特征提取，在进行三维点云特征提取时，使用三维卷积来保证高度信息的保留，进而最大程度保留点云的三维结构信息，根据提取的目标三维点云特征确定待处理点云中的目标信息，能够准确找出点云中的三维目标，解决现有目标检测结果出错率较高，后续无法指导飞机、汽车、机器人等进行避障和路径规划的问题。图1为本申请实施例提供的目标检测系统的架构示意图。如图1所示，包括：传感器101、第一处理器102和第二处理器103。以目标为车辆为例，传感器101可以实时生成待处理点云，其中，该点云用于标识车辆周围环境的地面。第一处理器102可以结合传感器101生成的点云中点的数目和每个点的属性，确定点云向量，该点云向量包括点在三维坐标系中各维度的几何位置信息，并利用三维卷积神经网络对点云向量处理，以提取点云向量的目标三维点云特征，根据目标三维点云特征确定上述点云中的目标信息，该目标信息包括目标在三维坐标系中各维度的几何位置信息，并将目标信息送入至第二处理器103做后续的行驶规划和使用。这里，第一处理器102和第二处理器103可以为车用计算平台、无人飞行器处理器等。本实施例对第一处理器102和第二处理器103的实现方式不做特别限制，只要第一处理器102和第二处理器103能够上述相应功能即可。应理解上述架构仅为一种示例性系统架构框图，具体实施时，可以根据应用需求设置，例如第一处理器102和第二处理器103可以单独设置，也可以合到一起，满足不同应用需求。另外，上述目标检测系统还可以包括接收装置、显示装置等。在具体实现过程中，接收装置可以是输入/输出接口，也可以是通信接口。接收装置可以接收用户的指令，例如接收装置可以是连接鼠标的输入接口。显示装置可以用于对上述目标信息进行显示。显示装置还可以是触摸显示屏，用于在显示上述目标信息的同时接收用户指令，以实现与用户的交互。下面以具本文档来自技高网...

【技术保护点】
1.一种目标检测方法，其特征在于，包括：/n根据待处理点云中点的数目和每个点的属性，确定点云向量，所述点云向量包括点在三维坐标系中各维度的几何位置信息；/n利用三维卷积神经网络对所述点云向量处理，以提取所述点云向量的目标三维点云特征；/n根据所述目标三维点云特征确定所述待处理点云中的目标信息，所述目标信息包括目标在三维坐标系中各维度的几何位置信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种目标检测方法，其特征在于，包括：
根据待处理点云中点的数目和每个点的属性，确定点云向量，所述点云向量包括点在三维坐标系中各维度的几何位置信息；
利用三维卷积神经网络对所述点云向量处理，以提取所述点云向量的目标三维点云特征；
根据所述目标三维点云特征确定所述待处理点云中的目标信息，所述目标信息包括目标在三维坐标系中各维度的几何位置信息。


2.根据权利要求1所述的方法，其特征在于，所述根据所述目标三维点云特征确定所述待处理点云中的目标信息，包括：
利用第一卷积神经网络，基于所述目标三维点云特征确定所述待处理点云中的目标在三维坐标系中的中心点坐标、三维尺寸和航偏角。


3.根据权利要求2所述的方法，其特征在于，所述第一卷积神经网络通过点云特征以及目标在三维坐标系中的中心点坐标、三维尺寸和航偏角训练得到。


4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述根据所述目标三维点云特征确定所述待处理点云中的目标信息之后，还包括：
利用第二卷积神经网络，基于所述目标三维点云特征确定所述目标的类别概率；
根据所述目标的类别概率对所述目标进行错误目标去除。


5.根据权利要求4所述的方法，其特征在于，所述第二卷积神经网络通过点云特征和目标类别概率训练得到。


6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据待处理点云中点的数目和每个点的属性，确定点云向量，包括：
对所述待处理点云进行网格划分；
根据划分后每个网格中点的数目和每个点的属性，确定划分后每个网格的向量，其中，每个点的属性包括点在三维坐标系中的三维坐标和反射率：
根据所述划分后每个网格的向量，确定所述点云向量。


7.根据权利要求6中所述的方法，其特征在于，所述根据划分后每个网格中点的数目和每个点的属性，确定划分后每个网格的向量，包括：
根据预设点数对划分后每个网格中点的数目进行调整；
根据调整后每个网格中点的数目和每个点的属性的乘积，确定划分后每个网格的向量。


8.根据权利要求6或7所述的方法，其特征在于，所述三维卷积神经网络包括第三卷积神经网络；
所述利用三维卷积神经网络对所述点云向量处理，以提取所述点云向量的目标三维点云特征，包括：
利用所述第三卷积神经网络对划分后每个网格的向量进行三维网格特征提取。


9.根据权利要求8所述的方法，其特征在于，所述第三卷积神经网络通过三维网格向量和三维网格特征训练得到。


10.根据权利要求8或9所述的方法，其特征在于，所述三维卷积神经网络还包括第四卷积神经网络；
在所述利用所述第三卷积神经网络对划分后每个网格的向量进行三维网格特征提取之后，还包括：
利用所述第四卷积神经网络对提取的三维网格特征进行目标三维点云特征提取。


11.根据权利要求10所述的方法，其特征在于，所述第四卷积神经网络通过三维网格特征和三维点云特征训练得到。


12.根据权利要求1至11中任一项所述的方法，其特征在于，所述根据所述目标三维点云特征确定所述待处理点云中的目标信息，包括：
根据所述目标三维点云特征中的有效点确定所述目标信息。


13.根据权利要求12所述的方法，其特征在于，在所述根据所述目标三维点云特征中的有效点确定所述目标信息之前，还包括：
获得所述目标三维点云特征中的每个点距离其所在网格的中心点的像素欧氏距离；
根据所述像素欧氏距离与预设距离阈值，确定所述目标三维点云特征中的有效点。


14.根据权利要求1至13中任一项所述的方法，其特征在于，所述三维卷积神经网络包括：
多个卷积层，用于对所述点云向量进行卷积操作，以输出三维点云特征；
上采样层，与所述多个卷积层中的至少一个卷积层相连接，用于获取所述多个卷积层中的至少一个卷积层输出的三维点云特征，并对获取的三维点云特征进行处理，以输出处理后的三维点云特征；
全连接层，与所述多个卷积层中的卷积层和所述上采样层相连接，用于获取一卷积层输出的三维点云特征和所述处理后的三维点云特征，并对获取的三维点云特征和所述处理后的三维点云特征进行特征融合，以生成融合后的三维点云特征，将所述融合后的三维点云特征输入另一卷积层，以经过所述另一卷积层的卷积操作后，确定所述目标三维点云特征。


15.根据权利要求14所述的方法，其特征在于，所述多个卷积层中卷积层的深度不同；
所述全连接层与所述多个卷积层中的第一卷积层、第二卷积层和所述上采样层连接，以获取所述第一卷积层输出的三维点云特征和所述处理后的三维点云特征，并对所述第一卷积层输出的三维点云特征和所述处理后的三维点云特征进行特征融合，以生成所述融合后的三维点云特征，将所述融合后的三维点云特征输入所述第二卷积层，以经过所述第二卷积层的卷积操作后，确定所述目标三维点云特征，其中，所述第二卷积层的深度大于所述第一卷积层的深度。


16.根据权利要求14或15所述的方法，其特征在于，所述全连接层的个数为多个。


17.根据权利要求14至16中任一项所述的方法，其特征在于，所述上采样层的个数为多个。


18.一种目标检测设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机执行指令，所述处理器执行所述计算机执行指令时实现如下步骤：
根据待处理点云中点的数目和每个点的属性，确定点云向量，所述点云向量包括点在三维坐标系中各维...

【专利技术属性】
技术研发人员：徐斌，陈晓智，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44