一种激光雷达和摄像头融合的智能汽车道路边界检测方法技术

本发明专利技术提供一种激光雷达和摄像头融合的智能汽车道路边界检测方法，包括通过摄像头和激光雷达获取地面数据，激光雷达获取点云信息，摄像头获取RGB图像信息；获取道路区域和路面点云，再形成道路栅格地图；通过边缘检测算法获取道路边界点集合，最后采用RANSAC算法拟合得到左右边界的道路边界参数，形成道路边界模型。通过本发明专利技术方法能够获取鲁棒的、高精度的道路边界信息，能解决视觉方法对不平坦道路的适应性问题。的适应性问题。

【技术实现步骤摘要】
一种激光雷达和摄像头融合的智能汽车道路边界检测方法


[0001]本专利技术属于自动驾驶安全领域，特别涉及一种激光雷达和摄像头融合的智能汽车道路边界检测方法。

技术介绍

[0002]道路边界是约束车辆行驶区域的重要因素，传统的基于视觉的方法往往采用路面的纹理和颜色特征设计特征提取算子获取相似区域，并采用区域生长的方法进行整个路面的提取，最后采用投影变换方法将图像空间中检测结果投影到车辆坐标系下，基于激光雷达的边界检测算法则通过道路边界处的高度突变来实现。基于视觉的道路检测算法在投影变换中采用了道路平坦假设，无法适应不平坦道路情况，激光雷达边界检测无法适用道路边界无明显高度变化的道路场景。因此，需要一种方法解决视觉方法对不平坦道路的适应性问题，解决道路边界无明显高度变化时激光雷达难以应用的问题。

技术实现思路

[0003]为实现上述目的，本专利技术提供一种激光雷达和摄像头融合的智能汽车道路边界检测方法，包括：
[0004]步骤一、通过摄像头和激光雷达获取地面数据，其中激光雷达获取点云信息，摄像头获取RGB图像信息；
[0005]步骤二、根据深度神经网络模型获取RGB图像中的道路区域，以道路区域掩码的形式表示，其中，RGB图像为道路区域掩码为M∈{0,1}
H
×
W
，其中，H和W为图像的高和宽，掩码中0表示非道路，1表示道路；
[0006]步骤三、通过激光雷达获得的点云信息，获取路面点云；
[0007]步骤四、通过获取的路面点云，采用随机抽样一致算法(RANdom SAmple Consensus,RANSAC)获取路面模型；通过获取的道路区域，构建等间距的栅格区域，分辨率为0.1m，每个单元格的属性为其x、y和z为单元格中心的坐标，z值由获取的路面模型计算获得；
[0008]步骤五、通过公式G∈{c
i
|i＝1,...,N
g
}获取道路栅格地图，其中N
g
为道路栅格地图中单元格的个数；
[0009][0010]其中，R
v2c
和t
v2c
分别是车辆坐标系到相机坐标系的旋转矩阵和平移向量，其中，u和v是该点在图像中相应像素的横、纵坐标；dx和dy是一个像素在相机X轴与Y轴方向上的物
理尺寸；f为相机的焦距；
[0011]步骤六、在获取的道路栅格地图上，通过边缘检测算法获取候选的道路边界点P
edge
＝{p
e
|p
e
＝(x
e
,y
e
)}，再聚类候选边界点，得到左右边界点的集合：
[0012]步骤七、由左右边界点的集合和采用RANSAC算法拟合得到左右边界的道路边界参数，形成道路边界模型。
[0013]作为优选，在步骤三中，根据激光雷达标定结果，将激光雷达点云信息转换到车辆坐标系下得到再通过点云分割算法获取路面点云
[0014]作为优选，在步骤四中，路面模型采用二次曲面方程z＝ax2+by2+cx+dy+e表示，其中z为高度值，x和y为横向和纵向坐标；
[0015]作为优选，步骤四中，m代表单元格的属性，即是否属于道路类别，通过公式P
C
＝[x
C
,y
C
,z
C
]T
获取单元格在摄像头坐标系下的坐标，再通过公式ID＝[u,v]获取该单元格对应的图像像素坐标，其中u和v分别为像素在图像中的横、纵坐标；单元格的道路属性由其对应的图像像素的道路属性决定，其中m＝0表示非道路，m＝1表示道路，m＝255表示未知类别；
[0016]作为优选，在步骤七中，对于道路边界模型，采取三次曲线方程表示：y＝ax3+bx2+cx+d；
[0017]作为优选，在步骤七中，得到的道路边界模型
[0018]M
road
＝{(E
L
,E
R
)|E
L
＝(a
L
,b
L
,c
L
,d
L
),E
R
＝(a
R
,b
R
,c
R
,d
R
)}，其中a
L
,b
L
,c
L
,d
L
为道路左边界的曲线参数，a
R
,b
R
,c
R
,d
R
为道路右边界的曲线参数。
[0019]与现有技术相比，本专利技术的有益效果是：
[0020]1.本专利技术通过激光雷达和摄像头的信息获取鲁棒的、高精度的道路边界信息，能解决视觉方法对不平坦道路的适应性问题。
[0021]2.本专利技术提出的方法能够解决激光雷达边界检测无法适用于道路边界无明显高度变化的道路场景的问题。
附图说明
[0022]图1为本专利技术方法的流程图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]如图1所示，本专利技术实施例提出一种激光雷达和摄像头融合的智能汽车道路边界检测方法，包括：
[0025]S1、通过摄像头和激光雷达获取地面数据，其中激光雷达获取点云信息，摄像头获
取RGB图像信息；
[0026]S2、根据深度神经网络模型获取RGB图像中的道路区域，以道路区域掩码的形式表示，其中，RGB图像为道路区域掩码为M∈{0,1}
H
×
W
，其中，H和W为图像的高和宽，掩码中0表示非道路，1表示道路；
[0027]S3、通过激光雷达获得的点云信息，根据激光雷达标定结果，将激光雷达点云信息转换到车辆坐标系下得到再通过点云分割算法获取路面点云
[0028]S4、通过获取的路面点云，采用随机抽样一致算法(RANdom SAmple Consensus,RANSAC)获取路面模型,路面模型采用二次曲面方程z＝ax2+by2+cx+dy+e表示，其中z为高度值，x和y为横向和纵向坐标；通过获取的道路区域，构建等间距的栅格区域，分辨率为0.1m，每个单元格的属性为其x、y和z为单元格中心的坐标，z值由获取的路面模型计算获得；m代表单元格的属性，即是否属于道路类别，通过公式P
C
＝[x
C
,y
C
,z
C
]T
获取单元格在摄像头坐标系下的坐标，再通过公式ID＝[u,v]获取该单元格对应的图像像素坐标，其中u和v分别为像素在图像中的横本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达和摄像头融合的智能汽车道路边界检测方法，包括：步骤一、通过摄像头和激光雷达获取地面数据，其中激光雷达获取点云信息，摄像头获取RGB图像信息；步骤二、根据深度神经网络模型获取RGB图像中的道路区域，以道路区域掩码的形式表示，其中，RGB图像为道路区域掩码为M∈{0,1}
H
×
W
，其中，H和W为图像的高和宽，掩码中0表示非道路，1表示道路；步骤三、通过激光雷达获得的点云信息，获取路面点云；步骤四、通过获取的路面点云，采用随机抽样一致算法(RANdom SAmple Consensus,RANSAC)获取路面模型；通过路面模型获取的道路区域，构建等间距的道路栅格区域，分辨率为0.1m，每个单元格的属性为其x、y和z为单元格中心的坐标，z值由获取的路面模型计算获得；步骤五、通过公式G∈{c
i
|i＝1,...,N
g
}获取道路栅格地图，其中N
g
为道路栅格地图中单元格的个数；其中，R
v2c
和t
v2c
分别是车辆坐标系到相机坐标系的旋转矩阵和平移向量，其中，u和v是该点在图像中相应像素的横、纵坐标；dx和dy是一个像素在相机X轴与Y轴方向上的物理尺寸；f为相机的焦距；步骤六、在获取的道路栅格地图上，通过边缘检测算法获取候选的道路边界点P
edge
＝{p
e
|p
e
＝(x
e
,y
e
)}，再聚类候选边界点，得到左右边界点的集合：步骤七、由左右边界点的集合和采用RANSAC算法拟合得到左右边界的道路边界参数，形成道路边界模型。2.如权利要求1所述的一种激光雷达和摄像头融合的智能汽车道路边界检测方法，其特征在于，在所述步骤三中，根据激光雷达标定结果，将激光雷达点云信息转换到车辆坐标系下得到再通过点云分割算法获取路面点云3.如权利要求1所述的一种激光雷达和摄像头融合的智能汽车道路边界检测方法，其特征在于，在所述步骤四中，路面模型采用二次曲面方程z＝ax2+by2+cx+dy+e表示，其中z为高度值，x和y为横向和纵向坐标。4.如权利要...

【专利技术属性】
技术研发人员：王科未，姚宇，陈乾坤，周子建，
申请(专利权)人：东风悦享科技有限公司，
类型：发明
国别省市：