一种基于3D激光雷达及图像数据的目标检测方法技术

本发明专利技术公开了一种基于3D激光雷达及图像数据的目标检测方法，该方法利用3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理；滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域；对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域；利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别。本发明专利技术充分利用了3D激光雷达和相机数据中间的互补性，提高了对场景的目标定位和分类识别的精度和时效性，可用于无人车中的目标实时检测。

【技术实现步骤摘要】
一种基于3D激光雷达及图像数据的目标检测方法
本专利技术涉及多传感器信息融合，具体涉及一种基于3D激光雷达点云目标候选区域提取与图像卷积神经网络分类的目标检测方法，用于无人车环境感知的重要组成部分，对提高车辆周围目标的检测精度，保障无人车安全行驶具有重要意义。
技术介绍
自动驾驶汽车可以从根本上提高驾驶人群的安全性和舒适性，同时减少汽车对环境的影响。为了开发这样的车辆，感知系统是车辆分析理解驾驶环境的不可缺少的部件之一，包括周围障碍物的位置，方向和分类。3D激光雷达是用于自主车辆感知系统的最流行的传感器之一，它具有广泛的视野，精确的深度信息以及目标识别中的远距离和夜视能力。在物体探测任务中，由于激光扫描本质上包含点云的空间坐标，所以3D激光雷达相对于获取探测到的物体的姿态和形状具有一定的优势。然而，随着与扫描中心距离的增加，3D激光雷达点云的分布变得越来越稀疏，这使得3D激光雷达很难在分类中检测到特定的物体。相机可以为精确分类提供高分辨率图像，近年来在图像识别领域，深度学习方面得到了广泛的研究。这些方法通常首先使用目标候选区域生成方法来生成目标候选区域，如滑动窗法，选择搜索法以及多尺度组合方法，然后使用卷积神经网络模型对候选区域进行特征提取和目标定位识别。这些方法的缺点是需要生成大量的候选区域，实时性很差。此外，相机受照度变化影响，缺乏3D物体的位置，方向和几何结构，导致目标候选区域提取不精确。
技术实现思路
本专利技术的目的是提供一种基于3D激光雷达及图像数据的目标检测方法，充分利用3D激光雷达可以直接获取高精度的目标深度和目标的几何特征参数和图像目标分类的优势，实现了优势互补，克服了采用单一传感器进行目标检测存在的精度低，鲁棒性差等问题，最大程度保障了无人车在复杂条件下的安全行驶。本专利技术的技术方案如下：一种基于3D激光雷达及图像数据的目标检测方法，包括以下步骤：步骤1，利用安装在车辆上的3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理；步骤2，滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域；步骤3，对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域；步骤4，利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别。进一步地，步骤1中对所述的3D点云数据进行预处理，包括：步骤1.1，将雷达获取的点云数据转换到直角坐标系下将点云数据的点集Pr转换到直角坐标系下，计算点集中每个扫描点在直角坐标系下的坐标，得到每个扫描点pi的多参数表示形式：pi＝(γi,θi,φi,Ii,xi,yi,zi)其中γi表示扫描点到雷达的径向距离，θi,φi表示扫描点相对于球面坐标系的水平和垂直角度，Ii表示雷达反射强度，xi,yi,zi为扫描点pi在直角坐标系下的坐标；所述的直角坐标系是以雷达的几何中心位置为坐标原点，以雷达的垂直轴线方向为Z轴，以车辆前行方向为Y轴，而X轴由Z轴和Y轴遵循右手定则确定；转换过程如下：步骤1.2，根据所述的直角坐标进行区域滤波，设定感兴趣区域边界，保留感兴趣区域中的扫描点，即：Pf＝{pi|-X<xi<X,Y<yi<Y,Z1<zi<Z2}(2)当扫描点pi的坐标(xi,yi,zi)满足在感兴趣区域边界-X<xi<X,Y<yi<Y,Z1<zi<Z2内时，将该扫描点pi加入点集Pf，由此得到感兴趣区域扫描点的点集Pf。进一步地，所述的3D点云数据进行预处理，还包括：步骤1.3，噪声点的滤除对于点集Pf中的每一个扫描点pi，搜索在扫描点pi半径R内的近邻点，如果pi的近邻点数量少于M个，则将点pi标注为噪声点并从点集Pf中移除；遍历点集Pf，找到所有的噪声点并从点集Pf中移除，得到预处理后的点集P。进一步地，步骤2所述的滤除3D点云数据中的地面点，包括：步骤2.1，将点集P映射到多维矩阵中，矩阵的行号等于雷达扫描线的条数，矩阵的列数等于一条扫描线包含的点数；点集P中的扫描点pi的映射到矩阵中所在的行r和列c计算方式如下：r＝(θi+180)/Δθ(3)c＝φi/Δφ(4)上式中，Δθ、Δφ分别表示雷达的水平角度分辨率和垂直角度分辨率，θi、φi分别表示扫描点所在扫描线的水平角度和垂直角度；步骤2.2，用br,c表示矩阵中的第r行c列元素，计算br,c中的点pi的深度值pdepthi，计算方式如下：上式中，xi,yi分别为br,c对应的扫描点pi在所述直角坐标系中相对于X轴、Y轴的坐标；步骤2.3，计算矩阵元素br,c对应扫描点是地面点的概率P(br,c)，如果概率超过阈值，则将br,c对应扫描点标记为地面点；步骤2.4，遍历矩阵中每个元素，按照步骤2.3的方法标记出矩阵中所有的地面点并将地面点从点集P中移除，剩下的非地面点记为点集Po。进一步地，步骤2.3中所述的地面点概率P(br,c)的计算步骤为：步骤2.3.1，计算矩阵同一列的相邻元素br-1,c和br,c中的点之间的深度测量差值Md(br-1,c,br,c)，计算方法如下：Md(br-1,c,br,c)＝|pdepthr,c-pdepthr-1,c|(6)步骤2.3.2，根据雷达点云数据在平面上的分布情况估计出矩阵同一列的相邻元素br-1,c和br,c中的点之间的深度差值Ed(br-1,c,br,c)，具体计算方法如下：其中，h表示雷达的安装高度，Δφ表示雷达垂直角度分辨率，φr-1和φr分别表示雷达第r-1和第r条扫描线的垂直角度，γr-1表示元素br-1,c对应的扫描点距雷达中心的径向距离值；步骤2.3.3，则元素br,c对应扫描点pi是地面点的概率P(br,c)为：其中当概率P(br,c)大于阈值0.8时，则元素br,c对应扫描点pi标记为地面点。进一步地，步骤2所述的对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域，包括：步骤2.5.1，建立第一个聚类C1，将非地面点集Po中的第一个扫描点p1划分到第一个聚类C1中；步骤2.5.2，对于点集Po中其它点pi∈Po,(i≠1)，计算离它最近的聚类Cj中的扫描点与它的欧拉距离最小值，如果最小值小于阈值d，则将点pi划分到聚类Cj(j≤n)中，其中n表示当前聚类数；否则重新创建第n+1个聚类Cn+1，并将pi划分到Cn+1中，直到点集Po中所有的扫描点都被划分到聚类中；步骤2.5.3，用Γ表示聚类集合，对于聚类集合Γ中的每一个聚类Cj，利用聚类Cj所包含的扫描点的空间分布，计算该聚类的最小3D轴对齐矩形边界框，如果边界框的尺寸大于阈值尺寸，则将该聚类标记伪目标区域，否则标记为候选目标区域；步骤2.5.4，保留所有标记为目标候选区域的边界框作为提取的目标3D感兴趣区域。进一步地，对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域，包括：以棋本文档来自技高网...

【技术保护点】
1.一种基于3D激光雷达及图像数据的目标检测方法，包括以下步骤：步骤1，利用安装在车辆上的3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理；步骤2，滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域；步骤3，对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域；步骤4，利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别。

【技术特征摘要】
1.一种基于3D激光雷达及图像数据的目标检测方法，包括以下步骤：步骤1，利用安装在车辆上的3D激光雷达和相机获取周围环境的3D点云数据和相机图像，并对所述的3D点云数据进行预处理；步骤2，滤除3D点云数据中的地面点，对剩余非地面点进行空间聚类，提取目标的3D感兴趣区域；步骤3，对3D激光雷达和相机的坐标的外参数进行标定，并根据标定参数将目标的3D感兴趣区域映射到对应的相机图像中，提取相机图像中对应的2D感兴趣区域；步骤4，利用深度卷积网络对所述的2D感兴趣区域进行特征提取，从而对2D感兴趣区域中的目标进行定位和识别。2.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，步骤1中对所述的3D点云数据进行预处理，包括：步骤1.1，将雷达获取的点云数据转换到直角坐标系下将点云数据的点集Pr转换到直角坐标系下，计算点集中每个扫描点在直角坐标系下的坐标，得到每个扫描点pi的多参数表示形式：pi＝(γi,θi,φi,Ii,xi,yi,zi)其中γi表示扫描点到雷达的径向距离，θi,φi表示扫描点相对于球面坐标系的水平和垂直角度，Ii表示雷达反射强度，xi,yi,zi为扫描点pi在直角坐标系下的坐标；所述的直角坐标系是以雷达的几何中心位置为坐标原点，以雷达的垂直轴线方向为Z轴，以车辆前行方向为Y轴，而X轴由Z轴和Y轴遵循右手定则确定；转换过程如下：步骤1.2，根据所述的直角坐标进行区域滤波，设定感兴趣区域边界，保留感兴趣区域中的扫描点，即：Pf＝{pi|-X<xi<X,Y<yi<Y,Z1<zi<Z2}(2)当扫描点pi的坐标(xi,yi,zi)满足在感兴趣区域边界-X<xi<X,Y<yi<Y,Z1<zi<Z2内时，将该扫描点pi加入点集Pf，由此得到感兴趣区域扫描点的点集Pf。3.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，所述的3D点云数据进行预处理，还包括：步骤1.3，噪声点的滤除对于点集Pf中的每一个扫描点pi，搜索在扫描点pi半径R内的近邻点，如果pi的近邻点数量少于M个，则将点pi标注为噪声点并从点集Pf中移除；遍历点集Pf，找到所有的噪声点并从点集Pf中移除，得到预处理后的点集P。4.如权利要求1所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，步骤2所述的滤除3D点云数据中的地面点，包括：步骤2.1，将点集P映射到多维矩阵中，矩阵的行号等于雷达扫描线的条数，矩阵的列数等于一条扫描线包含的点数；点集P中的扫描点pi的映射到矩阵中所在的行r和列c计算方式如下：r＝(θi+180)/Δθ(3)c＝φi/Δφ(4)上式中，Δθ、Δφ分别表示雷达的水平角度分辨率和垂直角度分辨率，θi、φi分别表示扫描点所在扫描线的水平角度和垂直角度；步骤2.2，用br,c表示矩阵中的第r行c列元素，计算br,c中的点pi的深度值pdepthi，计算方式如下：上式中，xi,yi分别为br,c对应的扫描点pi在所述直角坐标系中相对于X轴、Y轴的坐标；步骤2.3，计算矩阵元素br,c对应扫描点是地面点的概率P(br,c)，如果概率超过阈值，则将br,c对应扫描点标记为地面点；步骤2.4，遍历矩阵中每个元素，按照步骤2.3的方法标记出矩阵中所有的地面点并将地面点从点集P中移除，剩下的非地面点记为点集Po。5.如权利要求4所述的基于3D激光雷达及图像数据的目标检测方法，其特征在于，步骤2.3中所述的地面点概率P(br,c)的计算步骤为：步骤2.3.1，计算矩阵同一列的相邻元素br-1,c和br,c中的点之间的深度测量差值Md(br-1,c,br,c)，计算方法如下：Md(br-1,c,br,c)＝|pdepthr,c-pdepthr-1,...

【专利技术属性】
技术研发人员：赵祥模，孙朋朋，徐志刚，王润民，李骁驰，闵海根，尚旭明，吴霞，王召月，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西,61