用于无人驾驶车辆的目标物体识别方法和装置制造方法及图纸

本申请公开了用于无人驾驶车辆的目标物体识别方法和装置。所述无人驾驶车辆设置有激光雷达传感器和摄像头传感器，所述方法的一具体实施方式包括：获取所述激光雷达传感器采集的点云数据以及所述摄像头传感器采集的影像数据；在所述影像数据中检测出目标物体，生成用于指示所述目标物体的矩形框；移除所述点云数据中的用于指示地面的地面点以及处于所述摄像头传感器视角范围之外的点以得到第一点云数据；根据所述矩形框，在所述第一点云数据中检测出与所述目标物体对应的第二点云数据；在所述第二点云数据中确定与所述目标物体对应的最小外包围盒。该实施方式提高了用于无人驾驶车辆的目标物体识别的精准度。

【技术实现步骤摘要】

本申请涉及机动车
，具体涉及无人驾驶车辆
，尤其涉及用于无人驾驶车辆的目标物体识别方法和装置。
技术介绍
无人驾驶车辆的控制系统依赖传感器感知周围环境，包括车辆、行人和交通标识等。无人驾驶车辆通常会配置多种传感器设备以获取更多的信息量。不同的传感器之间可以互补，提供更丰富的信息供无人驾驶车辆的控制系统进行感知。激光雷达传感器和摄像头传感器是无人驾驶车辆中最常用同时也是最主要的两种传感器设备。激光雷达传感器利用激光扫描无人驾驶车辆的周围环境并生成点云数据，通过点云数据无人驾驶车辆的控制系统能够方便快速地建立无人驾驶车辆周围环境的三维模型，因此，激光雷达传感器已经成为最重要的车载传感器。摄像头传感器可以采集无人驾驶车辆周围环境的影像信息。无人驾驶车辆的控制系统可以将摄像头传感器采集的影像信息与激光雷达传感器采集的点云数据相结合从而可以识别车辆周围环境中的障碍物和交通标识等信息，因此，摄像头也是非常重要的车载传感器。激光雷达传感器和摄像头传感器这两类主要的传感器共同作用可以覆盖更大的范围，获取的信息互相验证，提高了无人驾驶车辆控制系统识别环境的精确度，还可以在单个传感器异常或者出错时，保证控制系统的稳定性。然而，目前一般是利用单传感器数据(影像数据或点云数据)来识别目标物体(车辆、行人、建筑物等)，一定程度上限制了目标物体识别的精确度。
技术实现思路
本申请的目的在于提出一种改进的用于无人驾驶车辆的目标物体识别方法和装置，来解决以上
技术介绍
部分提到的技术问题。第一方面，本申请提供了一种用于无人驾驶车辆的目标物体识别方法，所述无人驾驶车辆设置有激光雷达传感器和摄像头传感器，所述方法包括：获取所述激光雷达传感器采集的点云数据以及所述摄像头传感器采集的影像数据；在所述影像数据中检测出目标物体，生成用于指示所述目标物体的矩形框，其中，所述目标物体位于所述矩形框内；移除所述点云数据中的用于指示地面的地面点以及处于所述摄像头传感器视角范围之外的点以得到第一点云数据；根据所述矩形框，在所述第一点云数据中检测出与所述目标物体对应的第二点云数据；在所述第二点云数据中确定与所述目标物体对应的最小外包围盒，其中，所述最小外包围盒为包围所述第二点云数据的最小长方体。在一些实施例中，所述在所述第二点云数据中确定与所述目标物体对应的最小外包围盒，包括：去除所述第二点云数据中的每一个点的Z坐标值以得到二维点集；确定与所述二维点集对应的凸多边形，其中，所述凸多边形为包围所述二维点集内的所有点的凸多边形；确定与所述凸多边形对应的最小外接矩形；从所述第二点云数据中获取Z坐标值的最大值和最小值，根据所述最小外接矩形以及所获取的Z坐标值的最大值和最小值，确定与所述目标物体对应的最小外包围盒。在一些实施例中，所述移除所述点云数据中的用于指示地面的地面点，包括：利用随机抽样一致性算法在所述点云数据中确定所述地面点，并在所述点云数据中移除所述地面点。在一些实施例中，所述利用随机抽样一致性算法在所述点云数据中确定所述地面点，并在所述点云数据中移除所述地点，包括：对于平坦地区，利用随机抽样一致性算法将整个所述点云数据进行地面点移除。在一些实施例中，所述利用随机抽样一致性算法在所述点云数据中确定所述地面点，并在所述点云数据中移除所述地点，包括：对于不平坦地区，对所述点云数据进行分块处理，对每一区块中的点云数据进行地面点移除。在一些实施例中，所述移除处于所述摄像头传感器视角范围之外的点，包括：将已移除所述地面点的所述点云数据作为第三点云数据，基于点云坐标系与影像坐标系的旋转矩阵R和平移矩阵t，利用如下公式对所述第三点云数据中的每一个点进行转换，如果该点的Z坐标值小于或等于0，则确定该点为处于所述摄像头传感器视角范围之外的点，将该点从所述第三点云数据中移除：Xcam＝RXcld+t；其中，Xcam＝[Xcam，Ycam，Zcam]T，Xcld＝[Xcld，Ycld，Zcld]T，R、t分别为点云坐标系与影像坐标系的旋转矩阵与平移矩阵，X表示三维空间向量，cam表示影像，cld表示点云，T表示转置，Xcam为影像坐标系下的向量，Xcld为点云坐标系下的向量，X、Y、Z分别表示X坐标值、Y坐标值与Z坐标值，Xcam、Ycam、Zcam分别表示影像坐标系下的X坐标值、Y坐标值与Z坐标值，Xcld、Ycld、Zcld分别表示点云坐标系下的X坐标值、Y坐标值与Z坐标值。在一些实施例中，所述根据所述矩形框，在所述第一点云数据中检测出与所述目标物体对应的第二点云数据，包括：在所述第一点云数据中筛选出与所述矩形框对应的点，将筛选出的点作为兴趣点集；对所述兴趣点集内的点进行聚类，以确定与所述目标物体对应的第二点云数据。在一些实施例中，所述在所述第一点云数据中筛选出与所述矩形框对应的点，将筛选出的点作为兴趣点集，包括：对于所述第一点云数据中的每一个点，将该点的坐标投影至影像平面坐标得到投影点坐标，其中，所述影像平面坐标为二维坐标；对于各所述投影点坐标，如果所述投影点坐标满足以下不等式，则确定与所述投影点坐标对应的点为与所述矩形框对应的点：其中，i为大于0的整数，xi与yi分别表示与所述第一点云数据中的第i个点对应的投影点坐标的x坐标值与y坐标值；所述矩形框表示为(x,y,width,height)，x、y分别为所述矩形框的左上点的x坐标值与y坐标值，width、height分别为所述矩形框的宽与高。在一些实施例中，所述对所述兴趣点集内的点进行聚类，以确定与所述目标物体对应的第二点云数据，包括：采用K中心点算法对所述兴趣点集内的点进行聚类；响应于聚类结果只有一个类别，确定该类别的点云数据为与所述目标物体对应的第二点云数据。在一些实施例中，所述对所述兴趣点集内的点进行聚类，以确定与所述目标物体对应的第二点云数据，包括：响应于聚类结果包括多个类别，确定包含点云数据最多的类别中的点的个数是否为包含点云数据次多的类别中的点的个数的2倍以上，若是，则确定包含点云数据最多的类别的点云数据为与所述目标物体对应的第二点云数据。第二方面，本申请提供了一种用于无人驾驶车辆的目标物体识别装置，所述无人驾驶车辆设置有激光雷达传感器和摄像头传感器，所述装置包括：获取单元，配置用于获取所述激光雷达传感器采集的点云数据以及所述摄像头传感器采集的影像数据；生成单元，配置用于在所述影像数据中检测出目标物体，生成用于指示所述目标物体的矩形框，其中，所述目标物体位于所述矩形框内；第一确定单元，配置用于移除所述点云数据中的用于指示地面的地面点以及处于所述摄像头传感器视角范围之外的点以得到第一点云数据；第二确定单元，配置用于根据所述矩形框，在所述第一点云数据中检测出与所述目标物体对应的第二点云数据；第三确定单元，配置用于在所述第二点云数据中确定与所述目标物体对应的最小外包围盒，其中，所述最小外包围盒为包围所述第二点云数据的最小长方体。在一些实施例中，所述第三确定单元包括：二维点集确定子单元，配置用于去除所述第二点云数据中的每一个点的Z坐标值以得到二维点集；凸多边形确定子单元，配置用于确定与所述二维点集对应的凸多边形，其中，所述凸多边形为包围所述二维点集内的所有点的凸多边形；最小外接矩形确定子单元，配置本文档来自技高网...

【技术保护点】
一种用于无人驾驶车辆的目标物体识别方法，其特征在于，所述无人驾驶车辆设置有激光雷达传感器和摄像头传感器，所述方法包括：获取所述激光雷达传感器采集的点云数据以及所述摄像头传感器采集的影像数据；在所述影像数据中检测出目标物体，生成用于指示所述目标物体的矩形框，其中，所述目标物体位于所述矩形框内；移除所述点云数据中的用于指示地面的地面点以及处于所述摄像头传感器视角范围之外的点以得到第一点云数据；根据所述矩形框，在所述第一点云数据中检测出与所述目标物体对应的第二点云数据；在所述第二点云数据中确定与所述目标物体对应的最小外包围盒，其中，所述最小外包围盒为包围所述第二点云数据的最小长方体。

【技术特征摘要】
1.一种用于无人驾驶车辆的目标物体识别方法，其特征在于，所述无人驾驶车辆设置有激光雷达传感器和摄像头传感器，所述方法包括：获取所述激光雷达传感器采集的点云数据以及所述摄像头传感器采集的影像数据；在所述影像数据中检测出目标物体，生成用于指示所述目标物体的矩形框，其中，所述目标物体位于所述矩形框内；移除所述点云数据中的用于指示地面的地面点以及处于所述摄像头传感器视角范围之外的点以得到第一点云数据；根据所述矩形框，在所述第一点云数据中检测出与所述目标物体对应的第二点云数据；在所述第二点云数据中确定与所述目标物体对应的最小外包围盒，其中，所述最小外包围盒为包围所述第二点云数据的最小长方体。2.根据权利要求1所述的方法，其特征在于，所述在所述第二点云数据中确定与所述目标物体对应的最小外包围盒，包括：去除所述第二点云数据中的每一个点的Z坐标值以得到二维点集；确定与所述二维点集对应的凸多边形，其中，所述凸多边形为包围所述二维点集内的所有点的凸多边形；确定与所述凸多边形对应的最小外接矩形；从所述第二点云数据中获取Z坐标值的最大值和最小值，根据所述最小外接矩形以及所获取的Z坐标值的最大值和最小值，确定与所述目标物体对应的最小外包围盒。3.根据权利要求1所述的方法，其特征在于，所述移除所述点云数据中的用于指示地面的地面点，包括：利用随机抽样一致性算法在所述点云数据中确定所述地面点，并在所述点云数据中移除所述地面点。4.根据权利要求3所述的方法，其特征在于，所述利用随机抽样一致性算法在所述点云数据中确定所述地面点，并在所述点云数据中移除所述地点，包括：对于平坦地区，利用随机抽样一致性算法将整个所述点云数据进行地面点移除。5.根据权利要求4所述的方法，其特征在于，所述利用随机抽样一致性算法在所述点云数据中确定所述地面点，并在所述点云数据中移除所述地点，包括：对于不平坦地区，对所述点云数据进行分块处理，对每一区块中的点云数据进行地面点移除。6.根据权利要求3-5之一所述的方法，其特征在于，所述移除处于所述摄像头传感器视角范围之外的点，包括：将已移除所述地面点的所述点云数据作为第三点云数据，基于点云坐标系与影像坐标系的旋转矩阵R和平移矩阵t，利用如下公式对所述第三点云数据中的每一个点进行转换，如果该点的Z坐标值小于或等于0，则确定该点为处于所述摄像头传感器视角范围之外的点，将该点从所述第三点云数据中移除：Xcam＝RXcld+t；其中，Xcam＝[Xcam，Ycam，Zcam]T，Xcld＝[Xcld，Ycld，Zcld]T，R、t分别为点云坐标系与影像坐标系的旋转矩阵与平移矩阵，X表示三维空间向量，cam表示影像，cld表示点云，T表示转置，Xcam为影像坐标系下的向量，Xcld为点云坐标系下的向量，X、Y、Z分别表示X坐标值、Y坐标值与Z坐标值，Xcam、Ycam、Zcam分别表示影像坐标系下的X坐标值、Y坐标值与Z坐标值，Xcld、Ycld、Zcld分别表示点云坐标系下的X坐标值、Y坐标值与Z坐标值。7.根据权利要求1所述的方法，其特征在于，所述根据所述矩形框，在所述第一点云数据中检测出与所述目标物体对应的第二点云数据，包括：在所述第一点云数据中筛选出与所述矩形框对应的点，将筛选出的点作为兴趣点集；对所述兴趣点集内的点进行聚类，以确定与所述目标物体对应的第二点云数据。8.根据权利要求7所述的方法，其特征在于，所述在所述第一点云数据中筛选出与所述矩形框对应的点，将筛选出的点作为兴趣点集，包括：对于所述第一点云数据中的每一个点，将该点的坐标投影至影像平面坐标得到投影点坐标，其中，所述影像平面坐标为二维坐标；对于各所述投影点坐标，如果所述投影点坐标满足以下不等式，则确定与所述投影点坐标对应的点为与所述矩形框对应的点：xi>x,xi<x+widthyi>y,yi<y+height;]]>其中，i为大于0的整数，xi与yi分别表示与所述第一点云数据中的第i个点对应的投影点坐标的x坐标值与y坐标值；所述矩形框表示为(x,y,width,height)，x、y分别为所述矩形框的左上点的x坐标值与y坐标值，width、height分别为所述矩形框的宽与高。9.根据权利要求8所述的方法，其特征在于，所述对所述兴趣点集内的点进行聚类，以确定与所述目标物体对应的第二点云数据，包括：采用K中心点算法对所述兴趣点集内的点进行聚类；响应于聚类结果只有一个类别，确定该类别的点云数据为与所述目标物体对应的第二点云数据。10.根据权利要求9所述的方法，其特征在于，所述对所述兴趣点集内的点进行聚类，以确定与所述目标物体对应的第二点云数据，包括：响应于聚类结果包括多个类别，确定包含点云数据最多的类别中的点的个数是否为包含点云数据次多的类别中的点的个数的2倍以上，若是，则确定包含点云数据最多的类别的点云...

【专利技术属性】
技术研发人员：桂坡坡，李博，夏添，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11