基于激光雷达和摄像机的路沿检测方法技术

本发明专利技术涉及基于激光雷达和摄像机的路沿检测方法，属于智能交通领域。该方法为：采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；对雷达数据和摄像机数据分别进行预处理，并进行联合标定；处理每帧雷达点云数据，对于每条扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点；处理每帧图像数据，采用成熟的方法检测图像中车道线，提取车道线模型；采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，并通过路沿点修正拟合线，得到路沿检测结果。本发明专利技术可以充分利用激光雷达和摄像机的优点精确地、稳定地检测路沿。

Road edge detection method based on lidar and camera

The invention relates to a road edge detection method based on laser radar and camera, belonging to the field of intelligent transportation. The method is as follows: using lidar to acquire point cloud data along the road, using camera to acquire road image data; pretreatment and joint calibration of radar data and camera data respectively; processing each frame of radar point cloud data, according to the linear characteristics of the road edge, using a distance-based direction. The method extracts candidate road edge feature points, processes each frame of image data, detects the lane line in the image using mature methods, extracts the lane line model, uses the lane line model to fit the extracted candidate road edge feature points, determines the distance between the candidate road edge points and the fitting line, and corrects the fitting line along the road to get the road. Along with the test results. The invention can make full use of the advantages of the laser radar and the camera to detect the road edge accurately and stably.

【技术实现步骤摘要】
基于激光雷达和摄像机的路沿检测方法
本专利技术属于智能交通领域，涉及基于激光雷达和摄像机的路沿检测方法。
技术介绍
随着社会和经济技术的发展，交通道路上的车辆越来越多，道路环境也越来越复杂，随之而来的交通事故也频繁发生，为了减少此类情况的发生，智能交通应运而生，而在智能交通中，智能车是智能交通中关键的一部分，智能车的出现帮助驾驶员驾驶，使得交通事故发生的频率得以减少。无人驾驶车是智能交通系统的重要组成部分，行驶城市环境中的无人驾驶车需要对周围复杂的交通环境有很好的感知能力，包括对道路最大行驶边界的感知、对潜在碰撞威胁的检测区分等。可靠的环境感知能力对自主巡航控制、碰撞预警和路径规划起到至关重要的作用。智能车主动安全研究是智能交通研究中重要一环，而智能车防碰撞系统就是为解决智能车主动安全设计的，在智能车防碰撞系统的应用中，道路路沿检测对于区分潜在的碰撞威胁有很重要的作用，并且由于路沿限制了道路的边界，对于车辆的路径规划和局部感知能够提供更丰富的信息；另外，对于更加复杂的城市交通环境，可以利用路沿确定的车辆最大行驶横向区域来更好的避让相向而行的车辆。因此道路路沿的检测在智能车研究，特别是道路安全中具有重要的意义。现有路沿检测技术主要有两种，一是采用摄像头图像处理的方法采集路沿，单一图像无法提供距离信息且三维信息测量精度较低；二是根据激光点云构建路沿模型，其中，点云包含至少两个离散点信息，所述离散点从激光传感器周围物体表面获取。因此，激光点云数据既包括有用的路沿信息，也包括与路沿有交叠部分的植被、树木或路标信息，由于点云数据的离散性，且没有有效区分噪声和有用路沿信息的方法，使植被、树木或路标等噪声无法滤除，导致目前路沿的检测准确度较低。一是采用摄像头图像处理的方法采集路沿，单一图像无法提供距离信息且三维信息测量精度较低。
技术实现思路
有鉴于此，本专利技术的目的在于提供基于激光雷达和摄像机的路沿检测方法，充分发挥多传感器融合的优点，提高路沿的检测精度、稳定性及鲁棒性，并能实时的检测路沿，克服单一传感器在环境感知应用中存在的诸多问题。为达到上述目的，本专利技术提供如下技术方案：基于激光雷达和摄像机的路沿检测方法，包括以下步骤：步骤1，采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；所述雷达点云数据包括多个包含极坐标信息的扫描点；所述图像数据包含车道线和路沿的图像；步骤2，对雷达数据和摄像机数据分别进行预处理，并进行联合标定；步骤3，处理每帧雷达点云数据，对于每层扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点；步骤4，处理每帧图像数据，采用成熟的车道线检测技术检测图像数据中车道线，提取车道线模型；步骤5，采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，通过候选路沿点按照距离设置阈值修正拟合线，最终得到路沿检测结果。进一步，所述的激光雷达为四线激光雷达，摄像机为微光相机。进一步，步骤2所述的对雷达数据和摄像机数据分别进行预处理，并进行联合标定的方法包括：S201：将雷达点云按层转为直角坐标系，以雷达中心为原点，以相应的层向前为y向左为x，并对每帧雷达点云数据进行中值滤波，以去除离散点，并对图像进行中值滤波；S202：激光雷达和摄像机的联合标定：首先，设置传感器坐标系，雷达坐标系以雷达的中心作为坐标原点，以雷达扫描层第0层作为雷达坐标系的XlOlYl平面，根据左手定则，沿着第0层向前为Yl轴，水平向左为Xl轴，垂直于0层竖直向上为Zl轴，将雷达点云数据转为三维坐标数据，从而获得标定物在雷达坐标系中的三维坐标信息；然后，手动测量标定物在摄像机坐标系Oc-XcYcZc中的坐标信息，根据测得的多个不同位置的标定物坐标信息，按照如下公式(1)利用Matlab求解超定方程组，求得旋转矩阵R和平移向量T，即完成激光雷达和摄像机的标定；最后，按公式(1)将数据由雷达坐标系转为摄像机坐标系，通过摄像机的内参矩阵转为图像像素坐标系，转换公式如下(2)所示：式中：R，T分别为数据由雷达坐标系转为摄像机坐标系的旋转和平移矩阵，f为相机焦距，和表示：x方向和y方向的每单位长度包含多少像素个数(可是小数)；γ为扭曲因子，一般取0；u0、v0分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。进一步，步骤3所述处理每帧雷达点云数据方法为：S301：路沿数据点的线性特征为：激光雷达扫描到道路路面上的点在y轴方向(道路走向)紧密分布、x轴方向(水平向左)上基本为距离很小均匀紧密分布，扫描到路沿的雷达数据x坐标值排列特别紧密，而y坐标值则较稀疏，局部近似呈直线；S302：采用一种基于距离的方法提取候选路沿特征点具体为：首先，对每帧雷达数据进行分层处理，对每层按每十个点进行分割，求取每段斜率按照设定阈值滤除横向路面数据点；然后，将上述处理后的点进行分段处理，每100单位长度分为一段，求取每段内数据点之间的欧氏距离，按照设定的阈值进一步滤除非路沿点，提取较为精确的左右候选路沿点。进一步，步骤4所述处理每帧图像数据为：采用车道线检测技术，包括Hough变换和双曲线模型，检测图像数据中车道线，提取车道线模型。进一步，步骤5所述拟合候选路沿特征点；判断候选路沿点与拟合线之间的距离，通过候选路沿点按照距离设置阈值修正拟合线，包括：S501：采用图像数据中检测车道线并提取的车道线模型对候选路沿特征点进行拟合；S502：判断候选路沿点与拟合线之间的距离，若候选路沿点距离大于阈值，则按照距离设置阈值修正拟合线模型参数，进一步提高检测精度，得到路沿检测结果。本专利技术的有益效果在于：与现有技术相比本专利技术具有以下优点：(1)本专利技术采用四线激光雷达作为雷达点云数据采集传感器，克服了多线激光雷达点云数据庞大、计算量复杂的缺点。本专利技术能够快速、准确地从激光雷达数据中提取出路沿数据集，并根据路沿数据的线性特征，采用基于欧氏距离的方法对路沿点进行分析，进一步滤除干扰点，提取左右候选路沿特征点。(2)本专利技术提出采用图像中车道线的模型拟合候选路沿特征点，并判断候选路沿点与拟合线之间的距离，若候选路沿点距离大于阈值，则按照距离设置阈值修正拟合线模型参数，进一步提高检测精度，得到路沿检测结果。(3)本专利技术充分发挥激光雷达和摄像机的优点，克服了单一传感器所产生的数据不足、检测误差大的缺点，提高了路沿的检测精度、稳定性及鲁棒性，并能实时的检测路沿。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术所述方法的主流程图；图2为激光雷达和摄像机坐标系设置图；图3为从激光雷达数据中提取候选路沿点流程图；图4为车道线和路沿在图像中位置示意图；图5为整体检测效果图示意图。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。本实施例选用IBEO-LUX2010四线激光雷达作为雷达点云数据采集传感器，微光摄像机作为图像数据采集传感器，在VS2013环境中编写算法以实现一种无人驾驶车中的路沿检测方法。具体实施方式如图1所示，包括以下步骤：步骤1，采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；所述雷达点云数据包括多个包含极坐标信息的扫描点；所述图像数据包含车道线和路沿本文档来自技高网...

【技术保护点】
1.基于激光雷达和摄像机的路沿检测方法，其特征在于：该方法包括以下步骤：步骤1：采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；所述雷达点云数据包括多个包含极坐标信息的扫描点；所述图像数据包含车道线和路沿的图像；步骤2：对雷达数据和摄像机数据分别进行预处理，并进行联合标定；步骤3：处理每帧雷达点云数据，对于每层扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点；步骤4：处理每帧图像数据，采用成熟的车道线检测技术检测图像数据中车道线，提取车道线模型；步骤5：采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，通过候选路沿点按照距离设置阈值修正拟合线，最终得到路沿检测结果。

【技术特征摘要】
1.基于激光雷达和摄像机的路沿检测方法，其特征在于：该方法包括以下步骤：步骤1：采用激光雷达获取路沿点云数据，采用摄像机获取道路图像数据；所述雷达点云数据包括多个包含极坐标信息的扫描点；所述图像数据包含车道线和路沿的图像；步骤2：对雷达数据和摄像机数据分别进行预处理，并进行联合标定；步骤3：处理每帧雷达点云数据，对于每层扫描线，根据路沿的线性特征采用一种基于距离的方法提取候选路沿特征点；步骤4：处理每帧图像数据，采用成熟的车道线检测技术检测图像数据中车道线，提取车道线模型；步骤5：采用车道线模型对提取的候选路沿特征点进行拟合；判断候选路沿点与拟合线之间的距离，通过候选路沿点按照距离设置阈值修正拟合线，最终得到路沿检测结果。2.根据权利要求1所述的基于激光雷达和摄像机的路沿检测方法，其特征在于：所述激光雷达为四线激光雷达，摄像机为微光相机。3.根据权利要求1所述的基于激光雷达和摄像机的路沿检测方法，其特征在于：步骤2所述的对雷达数据和摄像机数据分别进行预处理，并进行联合标定的方法包括：S201：将雷达点云按层转为直角坐标系，以雷达中心为原点，以相应的层向前为y向左为x，并对每帧雷达点云数据进行中值滤波，以去除离散点，并对图像进行中值滤波；S202：激光雷达和摄像机的联合标定：首先，设置传感器坐标系，雷达坐标系以雷达的中心作为坐标原点，以雷达扫描层第0层作为雷达坐标系的XlOlYl平面，根据左手定则，沿着第0层向前为Yl轴，水平向左为Xl轴，垂直于0层竖直向上为Zl轴，将雷达点云数据转为三维坐标数据，从而获得标定物在雷达坐标系中的三维坐标信息；然后，手动测量标定物在摄像机坐标系Oc-XcYcZc中的坐标信息，根据测得的多个不同位置的标定物坐标信息，按照如下公式(1)利用Matlab求解超定方程组，求得旋转矩阵R和平移向量T，...

【专利技术属性】
技术研发人员：蒋建春，王旭华，朱浩，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50