一种摄像机和三维激光雷达数据融合的路沿检测方法技术

本发明专利技术公开了一种摄像机和三维激光雷达数据融合的路沿检测方法，其步骤包括：1)以三维激光雷达为原点建立栅格地图；2)采用现有方法通过摄像机提取车道线特征点，并测量特征点在实际道路上相对于摄像机原点的横纵向距离；3)使用基于相邻点高度差特征的方法获取路沿候选点；4)依据摄像机与激光雷达的位置关系，将车道线特征点投影到栅格地图上，并使用二次曲线模型进行拟合；5)将离车道线曲线固定距离阈值内的路沿候选点判断为路沿点；6)对路沿点使用RANSAC算法进行过滤，并结合二次曲线模型对路沿点进行拟合。本发明专利技术能提高路沿的检测准确率，从而为无人车提供准确可靠的道路边界信息，并降低道路交通的事故的发生率。

【技术实现步骤摘要】
一种摄像机和三维激光雷达数据融合的路沿检测方法
本专利技术属于智能交通道路环境感知领域，特别涉及一种摄像机和三维激光雷达数据融合的路沿检测方法。
技术介绍
近年来，我国的汽车保有量以及驾驶人员数量逐年上升，交通事业持续发展，同时伴随着交通事故总量连年攀升。汽车已与人们的生活紧密地联系在一起，为了降低因交通事故导致的死亡率，无人车的研究越来越受人们的关注。在智能交通中，无人车实时准确地对环境进行感知，为驾驶员提供更多环境信息，从而降低交通事故发生的频率。道路边界检测作为环境感知中重要的一环，道路颜色、路面纹理、道路边界以及交通标记是道路可行使区域的重要线索。作为道路边界的明确性标志，路沿是结构化道路的重要表达信息，通过获取路沿的位置和形状，为无人车提供准确的搜索范围以及对自车进行辅助定位。通常情况下，结构化道路两侧铺设有路沿石，路沿石侧面与路面垂直，一般比路面高出10～30厘米左右。目前使用较多的方法是基于摄像头或者基于激光雷达对路沿进行检测。摄像头具有高信息量但无法提供准确的三维信息，激光雷达虽可以获取准确的三维信息但点云具有离散性，由于道路环境中的障碍物影响，使检测出较多的假阳性路沿点。
技术实现思路
本专利技术是为了解决上述现有技术存在的不足之处，提出一种摄像机和三维激光雷达数据融合的路沿检测方法，以期能提高路沿的检测准确率，从而为无人车提供准确可靠的道路边界信息，并降低道路交通的事故的发生率。本专利技术为达到上述专利技术目的，采用如下技术方案：本专利技术一种摄像机和三维激光雷达数据融合的路沿检测方法的特点在于，包括以下步骤：步骤1：以三维激光雷达为原点建立激光雷达坐标系，再利用所述三维激光雷达采集道路点云数据集合，并将所述道路点云数据集合中的每个点云数据从三维空间转换到二维栅格地图上；步骤2：利用摄像机采集道路图像数据并进行逆透视式变换，从而得到逆透视图；在所述逆透视图上寻找像素横纵向距离与实际道路横纵向距离之间的比例关系，再对所述逆透视图提取所有车道线特征点，并根据所提取的车道线特征点在所述逆透视图上的像素坐标以及所述比例关系计算所有车道线特征点在实际道路中对应的横纵向距离直角坐标；步骤3：将所有车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上，并在所述栅格地图上对车道线曲线进行拟合，得到车道线曲线模型；步骤4：采用基于相邻点高度差特征方法为每层激光雷达扫描线提取路沿候选点集合；步骤5：计算路沿候选点集合中的每个沿候选点分别与所述车道线曲线模型的距离，并将每个距离分别与固定距离阈值进行比较，如果任一距离小于所述固定距离阈值，则将相应路沿候选点判定为路沿点，否则，将相应路沿候选点判定为非路沿点并舍弃；步骤6：运用RANSA算法对所有判断为路沿点的数据进行离散路沿点的过滤，并结合二次曲线模型进行拟合，从而得到路沿曲线。本专利技术所述的路沿检测方法的特点也在于，所述步骤1中是利用式(1)将任意第p个点云数据从三维空间转换到二维栅格地图上：式(1)中，xp，yp分别为第p个点云数据的三维坐标点(xp,yp,zp)的x轴对应的值和y轴对应的值；为第p个点云数据的三维坐标点(xp,yp,zp)转化到栅格地图上的二维坐标点；m，n为所述二维栅格地图的长像素和宽像素。所述步骤3中是利用式(2)将任意第j个车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上：式(2)中，(x′j,y′j)为第j个车道线特征点的位置坐标；为第j个车道线特征点的位置坐标(x′j,y′j)转化到栅格地图上的二维坐标点；x0为所述摄像机离所述三维激光雷达的实际横向距离，y0为所述摄像机离所述三维激光雷达的实际纵向距离。所述步骤4是按如过程进行：步骤4.1：将第L层激光线中的第i个激光点及其三维坐标记为pL,i＝(xL,i,yL,i,zL,i)；步骤4.2：利用式(3)得到第L层激光线落在路沿垂直平面上的激光点的理论数量kL：式(3)中，Hc是路沿高度；θL是第L层激光线的俯仰角度，δdistance表示所述三维激光雷达的水平距离分辨率，并有：式(4)中，d是目标离所述三维激光雷达的距离，δangle为所述三维激光雷达的水平角分辨率；步骤4.3：利用式(5)得到第i个激光点pL,i的左相邻点的z轴高度值zleft：步骤4.4：利用式(6)得到得到第i个激光点pL,i的右相邻点的z轴高度值zright：步骤4.5：利用式(7)判断第i个激光点pL,i是否为路沿候选点，若满足式(7)，则表示第i个激光点pL,i是路沿候选点，否则，表示第i个激光点pL,i非路沿候选点：步骤4.6：重复步骤4.1-步骤4.5，从而判断所有层激光线中所有激光点是否为路沿候选点，并由所有路沿候选点组成路沿候选点集合。与现有技术相比，本专利技术的有益效果在于：1、本专利技术采用16线三维激光雷达，并根据高程这一特征，采用基于相邻点高度差特征对路沿点进行初步提取，从而能够实时、全面地从三维激光雷达中提取路沿候选点。2、本专利技术采用摄像机提取车道线特征点，根据在俯视图中得到的横纵向比例系数，将车道线特征点投影到栅格地图中并进行二次曲线拟合。通过路沿候选点与车道线曲线模型的距离与固定距离阈值比较，将距离小于固定阈值的路沿候选点判定为路沿点，否则，舍弃，从而提高了路沿点检测的准确率。3、本专利技术结合三维激光雷达与摄像机传感器各自的优势，将摄像机与激光雷达传感器的数据信息进行融合，并将基于摄像机的车道线特征点检测用于基于三维激光雷达的路沿检测，从而能了解道路行驶边界情况，并获取更多准确可靠的道路信息，进而提高了三维激光雷达检测路沿的准确率，同时能够满足实时性。附图说明图1为本专利技术的流程图；图2为本专利技术摄像机与三维激光雷达相对位置图。具体实施方式下面结合附图进一步说明本专利技术实施例的具体技术方案。本专利技术实施例选用VelodyneLiDARPuck16线激光雷达采集点云数据，灰度相机采集图像数据，提出了一种摄像机和三维激光雷达数据融合的路沿检测方法，如图1所示，包括以下步骤：步骤1：以三维激光雷达为原点建立激光雷达坐标系，再利用三维激光雷达采集道路点云数据集合，并将道路点云数据集合中的每个点云数据从三维空间转换到二维栅格地图上；具体的说，点云数据从三维空间转换到二维栅格地图的方法包括：三维激光雷达直角坐标系以雷达内部旋转镜中心为原点，相邻激光层之间的角度是固定的，可以计算每根激光线的俯仰角ω，数据点的方位角α在一个发射序列开始时被接收，在两个距离字节中计算距离R，由此计算每个数据点的直角坐标(xp,yp)，由公式(1)表示。将数据点转换到二维栅格地图上。定义栅格地图的大小n×m为500×750，每个栅格大小a×a为0.1m×0.1m，定义栅格地图像本文档来自技高网...

【技术保护点】
1.一种摄像机和三维激光雷达数据融合的路沿检测方法，其特征在于，包括以下步骤：/n步骤1：以三维激光雷达为原点建立激光雷达坐标系，再利用所述三维激光雷达采集道路点云数据集合，并将所述道路点云数据集合中的每个点云数据从三维空间转换到二维栅格地图上；/n步骤2：利用摄像机采集道路图像数据并进行逆透视式变换，从而得到逆透视图；在所述逆透视图上寻找像素横纵向距离与实际道路横纵向距离之间的比例关系，再对所述逆透视图提取所有车道线特征点，并根据所提取的车道线特征点在所述逆透视图上的像素坐标以及所述比例关系计算所有车道线特征点在实际道路中对应的横纵向距离直角坐标；/n步骤3：将所有车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上，并在所述栅格地图上对车道线曲线进行拟合，得到车道线曲线模型；/n步骤4：采用基于相邻点高度差特征方法为每层激光雷达扫描线提取路沿候选点集合；/n步骤5：计算路沿候选点集合中的每个沿候选点分别与所述车道线曲线模型的距离，并将每个距离分别与固定距离阈值进行比较，如果任一距离小于所述固定距离阈值，则将相应路沿候选点判定为路沿点，否则，将相应路沿候选点判定为非路沿点并舍弃；/n步骤6：运用RANSA算法对所有判断为路沿点的数据进行离散路沿点的过滤，并结合二次曲线模型进行拟合，从而得到路沿曲线。/n...

【技术特征摘要】
1.一种摄像机和三维激光雷达数据融合的路沿检测方法，其特征在于，包括以下步骤：
步骤1：以三维激光雷达为原点建立激光雷达坐标系，再利用所述三维激光雷达采集道路点云数据集合，并将所述道路点云数据集合中的每个点云数据从三维空间转换到二维栅格地图上；
步骤2：利用摄像机采集道路图像数据并进行逆透视式变换，从而得到逆透视图；在所述逆透视图上寻找像素横纵向距离与实际道路横纵向距离之间的比例关系，再对所述逆透视图提取所有车道线特征点，并根据所提取的车道线特征点在所述逆透视图上的像素坐标以及所述比例关系计算所有车道线特征点在实际道路中对应的横纵向距离直角坐标；
步骤3：将所有车道线特征点在实际道路下对应的横纵向距离直角坐标转换到栅格地图上，并在所述栅格地图上对车道线曲线进行拟合，得到车道线曲线模型；
步骤4：采用基于相邻点高度差特征方法为每层激光雷达扫描线提取路沿候选点集合；
步骤5：计算路沿候选点集合中的每个沿候选点分别与所述车道线曲线模型的距离，并将每个距离分别与固定距离阈值进行比较，如果任一距离小于所述固定距离阈值，则将相应路沿候选点判定为路沿点，否则，将相应路沿候选点判定为非路沿点并舍弃；
步骤6：运用RANSA算法对所有判断为路沿点的数据进行离散路沿点的过滤，并结合二次曲线模型进行拟合，从而得到路沿曲线。


2.根据权利要求1所述的路沿检测方法，其特征在于，所述步骤1中是利用式(1)将任意第p个点云数据从三维空间转换到二维栅格地图上：



式(1)中，xp，yp分别为第p个点云数据的三维坐标点(xp,yp,zp)的x轴对应的值和y轴对应的值；为第p个点云数据的三维坐标点(xp,yp,zp)转化到栅格地图上的二维坐标点；m，n为所述二维栅格地图的长像素和宽像素。

...

【专利技术属性】
技术研发人员：魏振亚，陈无畏，张先锋，王庆龙，崔国良，丁雨康，马聪颖，
申请(专利权)人：安徽卡思普智能科技有限公司，
类型：发明
国别省市：安徽;34