一种基于车道线边缘的道路平面检测方法技术

本发明专利技术公开了一种基于车道线边缘的道路平面检测方法，包括以下步骤：通过双目立体视觉系统采集图像并进行预处理；对预处理后的图像进行Canny边缘检测，并利用Hough变换的方法提取车道线边缘；基于车道线边缘，通过最小二乘法求解道路平面系数，得到道路平面方程。本发明专利技术基于车道线边缘进行道路平面检测，能够在双目立体视觉系统的基线与道路平面不平行的情况下，实现道路平面的精确检测，减少了车辆侧倾和颠簸对道路平面检测带来的影响；本发明专利技术通过匹配成功的车道线的点进行道路平面拟合，较少依赖匹配成功的地面点个数及其分布情况，即使地面点匹配个数较少且分布集中，也能实现较好的道路平面检测效果，更具有实用价值。

【技术实现步骤摘要】

本专利技术涉及汽车安全辅助驾驶系统，特别是一种道路平面检测方法。
技术介绍
随着社会经济和科学技术的发展，汽车已经成为人们生活中必不可少的一部分，智能化也成为汽车发展的必然趋势。作为汽车智能化的一个研究方向，汽车安全辅助驾驶系统也日渐普及，并在一定程度上减少了交通事故的发生频率，而道路平面检测对于汽车安全辅助驾驶系统来说是必不可少的一部分，特别对于车载立体视觉技术而言，道路平面检测是基于立体视觉的车辆检测方法和车辆前方可通行性分析方法实现的前提。因此，准确有效地检测道路平面是提高汽车智能化程度的关键因素。目前，在车载立体视觉系统中，常用的道路平面检测方法是V视差法。基于V视差方法检测道路平面的前提是道路平面与由两个摄像机组成的双目立体视觉系统的基线平行，此时，道路平面投影到V视差图后为一条直线，根据该直线方程可以检测到道路平面。但是，在车辆行驶过程中，很难保证双目立体视觉系统的基线与道路平面平行，这时，道路平面投影至V视差图后则不再为一条直线，因此，通过V视差法将很难准确地检测到道路平面。此外，基于V视差的道路平面检测方法严重依赖视差图中成功匹配的地面点个数及分布情况，当匹配的路面点较少或分布集中时，路面检测将失效。
技术实现思路
为解决现有技术存在的上述问题，本专利技术要提出一种能够不受双目立体视觉系统的基线与道路平面之间是否平行的影响，并且较少依赖视差图中成功匹配的路面点个数及分布的基于车道线边缘的道路平面检测方法。为实现上述目的，本专利技术的技术方案如下：一种基于车道线边缘的道路平面检测方法，包括以下步骤：A、采集图像并进行预处理通过车载双目立体视觉系统即车上水平安装的左右两个摄像机采集到车辆前方包含车道线的左右两幅图像，然后用双目立体视觉系统的标定数据对左右两幅图像进行双目校正，选取校正后的左图像进行预处理：先将其转换为灰度图像，然后采用中值滤波的方法进行噪声消除。B、提取车道线边缘利用步骤A得到的预处理后的左图像进行车道线边缘提取。首先，采用Canny算子对左图像进行边缘检测；然后，将左图像等分为左右两个图像区域，通过Hough变换的方法分别检测两个图像区域中的线段；最后，对于每个区域，在Hough变换检测到的所有线段中，选取与水平方向夹角中的锐角小于60°的线段，并在满足条件的所有线段中选取最长的线段作为车道线边缘。C、基于车道线边缘拟合道路平面以图像的左上角为原点，向下为v轴正方向，向右为u轴正方向，以此建立图像坐标系(u,v)，根据步骤B检测到的车道线边缘，获得车道线边缘在左图像中的端点坐标，由此得到每条车道线在左图像坐标系(u,v)下的方程为： v = v 2 - v 1 u 2 - u 1 · u + v 1 u 2 - v 2 u 1 u 2 - u 1 , u 1 < u < u 2 - - - ( 1 ) ]]>式中，(u1,v1)和(u2,v2)为车道线边缘线段的两个端点在图像坐标系下的坐标。通过立体视觉匹配算法，获得双目立体视觉系统采集到的左右图像的视差图，在图像坐标系(u,v)的基础上，以视差值d为第三个坐标轴建立视差图坐标系(u,v,d)，然后在视差图中找出所有满足车道线方程且视差值d不为零的点(ui,vi,di)(di≠0，i＝1,2,…,n)，其中，(ui,vi)为视差图中满足公式(1)的点的坐标，di为该点的视差值，n为满足条件的点的个数，所有满足条件的点(ui,vi,di)构成特征点集Ωd。假设道路平面在以双目立体视觉系统中的左摄像机光心为原点的世界坐标系(X,Y,Z)下的表达式为：Y＝a0X+a1Z+a2 (2)式中，a0、a1和a2为方程的三个系数。根据立体视觉的投影原理，得到空间中的点在世界坐标系下的坐标(X,Y,Z)与在左图像中成像点的坐标(u,v)之间的关系为： Z = f · b d , Y = b · ( v - c y ) d , X = b · ( u - c x ) d - - - ( 3 ) ]]>式中，d为视差值，b为左右两个摄像机的基线距，f为摄像机焦距，u和v分别为空间的点在左图像中成像点的横坐标和纵坐标，cx和cy分别为双目校正后左图像坐标系原点与校正前左图像坐标系原点的横向和纵向偏移。将公式(3)代入公式(2)中，得到道路平面在视差图坐标系(u,v,d)下的方程为： v = a 0 u + a 2 d b + c y - a 0 c x + a 1 f - - - ( 4 本文档来自技高网...

【技术保护点】
一种基于车道线边缘的道路平面检测方法，其特征在于：包括以下步骤：A、采集图像并进行预处理通过车载双目立体视觉系统即车上水平安装的左右两个摄像机采集到车辆前方包含车道线的左右两幅图像，然后用双目立体视觉系统的标定数据对左右两幅图像进行双目校正，选取校正后的左图像进行预处理：先将其转换为灰度图像，然后采用中值滤波的方法进行噪声消除；B、提取车道线边缘利用步骤A得到的预处理后的左图像进行车道线边缘提取；首先，采用Canny算子对左图像进行边缘检测；然后，将左图像等分为左右两个图像区域，通过Hough变换的方法分别检测两个图像区域中的线段；最后，对于每个区域，在Hough变换检测到的所有线段中，选取与水平方向夹角中的锐角小于60°的线段，并在满足条件的所有线段中选取最长的线段作为车道线边缘；C、基于车道线边缘拟合道路平面以图像的左上角为原点，向下为v轴正方向，向右为u轴正方向，以此建立图像坐标系(u,v)，根据步骤B检测到的车道线边缘，获得车道线边缘在左图像中的端点坐标，由此得到每条车道线在左图像坐标系(u,v)下的方程为：v=v2-v1u2-u1·u+v1u2-v2u1u2-u1,u1<u<u2---(1)]]>式中，(u1,v1)和(u2,v2)为车道线边缘线段的两个端点在图像坐标系下的坐标；通过立体视觉匹配算法，获得双目立体视觉系统采集到的左右图像的视差图，在图像坐标系(u,v)的基础上，以视差值d为第三个坐标轴建立视差图坐标系(u,v,d)，然后在视差图中找出所有满足车道线方程且视差值d不为零的点(ui,vi,di)(di≠0，i＝1,2,…,n)，其中，(ui,vi)为视差图中满足公式(1)的点的坐标，di为该点的视差值，n为满足条件的点的个数，所有满足条件的点(ui,vi,di)构成特征点集Ωd；假设道路平面在以双目立体视觉系统中的左摄像机光心为原点的世界坐标系(X,Y,Z)下的表达式为：Y＝a0X+a1Z+a2      (2)式中，a0、a1和a2为方程的三个系数；根据立体视觉的投影原理，得到空间中的点在世界坐标系下的坐标(X,Y,Z)与在左图像中成像点的坐标(u,v)之间的关系为：Z=f·bd,Y=b·(v-cy)d,X=b·(u-cx)d---(3)]]>式中，d为视差值，b为左右两个摄像机的基线距，f为摄像机焦距，u和v分别为空间的点在左图像中成像点的横坐标和纵坐标，cx和cy分别为双目校正后左图像坐标系原点与校正前左图像坐标系原点的横向和纵向偏移；将公式(3)代入公式(2)中，得到道路平面在视差图坐标系(u,v,d)下的方程为：v=a0u+a2db+cy-a0cx+a1f---(4)]]>由于u和d前的系数均为常数，所以道路平面上的点投影到视差图坐标系中后仍为平面，其方程为：v＝k0u+k1d+k2    (5)式中，k0＝a0，k3＝cy‑a0cx+a1f，利用特征点集Ωd，通过最小二乘拟合的方法求解系数k0、k1和k2，具体求解方法如下式所示：Σui2ΣuidiΣuiΣuidiΣdi2ΣdiΣuiΣdink0k1k2=ΣuiviΣdiviΣvii=1,2,...,n(ui,vi,di)∈Ωd---(6)]]>式中，n为特征点集Ωd中的点的数量，(ui,vi,di)为特征点集中Ωd的点在视差图坐标系下的坐标；求出三个系数k0、k1和k2后，代入公式(5)中，即得到道路平面在视差图坐标系下的方程，然后在视差图中找到所有满足该方程的点(ui,vi,di)，这些点构成的点集Ω即为需要检测的道路平面。...

【技术特征摘要】
1.一种基于车道线边缘的道路平面检测方法，其特征在于：包括以下步骤：A、采集图像并进行预处理通过车载双目立体视觉系统即车上水平安装的左右两个摄像机采集到车辆前方包含车道线的左右两幅图像，然后用双目立体视觉系统的标定数据对左右两幅图像进行双目校正，选取校正后的左图像进行预处理：先将其转换为灰度图像，然后采用中值滤波的方法进行噪声消除；B、提取车道线边缘利用步骤A得到的预处理后的左图像进行车道线边缘提取；首先，采用Canny算子对左图像进行边缘检测；然后，将左图像等分为左右两个图像区域，通过Hough变换的方法分别检测两个图像区域中的线段；最后，对于每个区域，在Hough变换检测到的所有线段中，选取与水平方向夹角中的锐角小于60°的线段，并在满足条件的所有线段中选取最长的线段作为车道线边缘；C、基于车道线边缘拟合道路平面以图像的左上角为原点，向下为v轴正方向，向右为u轴正方向，以此建立图像坐标系(u,v)，根据步骤B检测到的车道线边缘，获得车道线边缘在左图像中的端点坐标，由此得到每条车道线在左图像坐标系(u,v)下的方程为： v = v 2 - v 1 u 2 - u 1 · u + v 1 u 2 - v 2 u 1 u 2 - u 1 , u 1 < u < u 2 - - - ( 1 ) ]]>式中，(u1,v1)和(u2,v2)为车道线边缘线段的两个端点在图像坐标系下的坐标；通过立体视觉匹配算法，获得双目立体视觉系统采集到的左右图像的视差图，在图像坐标系(u,v)的基础上，以视差值d为第三个坐标轴建立视差图坐标系(u,v,d)，然后在视差图中找出所有满足车道线方程且视差值d不为零的点(ui,vi,di)(di≠0，i＝1,2,…,n)，其中，(ui,vi)为视差图中满足公式(1)的点的坐标，di为该点的视差值，n为满足条件的点的个数，所有满足条件的点(ui,vi,di)构成特征点集Ωd；假设道路平面在以双目立体视觉系统中的左摄像机光心为原点的世界坐标系(X,Y,Z)下的表达式为：Y＝a0X+a1Z+a2 (2)式中，a0、a1和a2为方程的三个系数；根据立体视觉的投影原理，得到空间中的点在世界坐标系下的坐标(X,Y,Z)与在左图像中成像点的坐标(u,v)之间的关系为： Z = f · b d , Y = b · ( v - c y ) d , X = b · ( u - c x ) d - - - ( 3 ) ]]>式中，d为视差值，b为左右两个摄像机的基线距，f为摄像机焦距，u和v分别为空间的点在左图像中成像点的横坐标和纵坐标，cx和cy分别为双目校正后左图像坐标系原点与校正前左图像坐标系原点的横向和纵向偏移；将公式(3)代入公式(2)中，得到道路平面在视差图坐标系(u,v,d)下的方程为： v = a 0 u + a 2 d b + c y - a 0 c x + a 1 f - - - ( 4 ) ]]>由于u和d前的系数均为常数，所以道路平面上的点投影到视差图坐标系中后仍为平面，其方程为：v＝k0u+k1d+k2 (5)式中，k0＝a0，k3＝cy-a0cx+a1f，利用特征点集Ωd，通过最小二乘拟合的方法求解系数k0、k1和k2，具体求解方法如下式所示： Σ u i 2 Σ u i d ...

【专利技术属性】
技术研发人员：李琳辉，钱波，刘爽，郭烈，李红挪，伦智梅，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21