基于深度雷达点云和图像数据融合的车道线检测方法技术

一种基于深度雷达点云和图像数据融合的车道线检测方法，采集的RGB图像、点云数据，利用Hourglass网络对RGB图像以及点云数据提取融合特征，利用残差模块进行融合特征整合，利用融合特征进行车道线检测，实现雷达点云和图像融合的车道线检测。该方法结合两种数据的优势，在特征层对两种数据进行多视角下的融合，利用不同传感器之间的差异数据进行互补，增加了车道线识别的鲁棒性和准确率。了车道线识别的鲁棒性和准确率。了车道线识别的鲁棒性和准确率。

【技术实现步骤摘要】
基于深度雷达点云和图像数据融合的车道线检测方法


[0001]本专利技术涉及自动驾驶感知
,特别涉及基于深度雷达点云和图像数据融合的车道线检测方法。

技术介绍

[0002]传统的方法主要基于图像的方法来进行车道线检测，分为传统方法与深度学习方法。传统的车道线检测算法依靠图像领域知识，对图像提取特征，然后利用启发式算法识别车道线。基于深度学习的车道线识别算法，将车道线检测任务转换为图像分割任务，利用深度学习网络代替人工设计的图像特征检测器来预测图像中的车道线点。激光雷达传感器通过发送接收激光脉冲，形成雷达点云图像，相较于图像，雷达点云数据更为稳定不易受外界影响，并且视野范围更广，早期的基于雷达点云的车道线检测方法是通过设置点云反射率阈值来分离点云中车道线点和非车道线点。
[0003]基于图像的车道线检测算法正常运行依赖良好的光照条件，并且面对复杂的道路环境如车辆遮挡车道线缺失等情况，算法模型准确率降低明显，很难满足无人驾驶任务需求；基于雷达点云的车道线检测算法，由于雷达点云的不连续性，很容易导致误检和漏检，同时不同型号上采集的点云数据训练得到的模型很难匹配到其他雷达上。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的是提供一种基于深度雷达点云和图像数据融合的车道线检测方法。
[0005]本专利技术是通过如下技术方案实现的：一种基于深度雷达点云和图像数据融合的车道线检测方法,适合在计算设备中执行，其技术要点是，包括以下步骤:
[0006]获取经过标定的不同传感器采集的RGB图像、点云数据及车辆坐标与位姿信息；
[0007]将不同传感器采集到的RGB图像数据、点云数据及车辆坐标与位姿信息映射到同一坐标系后,对不同采样频率的传感器数据进行同步,获得对齐后的雷达点云数据、图像及坐标位姿数据；
[0008]对RGB图像进行高斯滤波，对点云数据进行点云噪点处理以及点云地面拟合，得到上采样后的点云数据；
[0009]分别利用Hourglass网络对RGB图像以及点云数据提取融合特征；利用残差模块进行融合特征整合，利用融合特征进行车道线检测，实现雷达点云和图像融合的车道线检测。
[0010]上述方案中，所述的传感器包含用于采集点云数据的激光雷达、用于获取三通道RGB图像的摄像头和用于获取车辆坐标与位姿信息的惯导。
[0011]上述方案中，所述的分别利用Hourglass网络对RGB图像以及点云数据提取融合特征，具体为：分别将三通道点云上采样的前视图投影、三通道RGB图像送入Hourglass网络训练，将二者融合之后的图像特征再次送入Hourglass网络进行训练，提取经过训练融合后的特征图。
[0012]本专利技术的有益效果是：该基于深度雷达点云和图像数据融合的车道线检测方法，采集的RGB图像、点云数据，利用Hourglass网络对RGB图像以及点云数据提取融合特征，利用残差模块进行融合特征整合，利用融合特征进行车道线检测，实现雷达点云和图像融合的车道线检测。该方法结合两种数据的优势，在特征层对两种数据进行多视角下的融合，利用不同传感器之间的差异数据进行互补，增加了车道线识别的鲁棒性和准确率。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可根据这些附图获得其他的附图。
[0014]图1为本专利技术实施例中基于深度雷达点云和图像数据融合的车道线检测方法流程图；
[0015]图2为本专利技术实施例中传感器采集与标定流程图。
[0016]图3为本专利技术实施例中一种基于时间戳的数据同步方法流程图
[0017]图4为本专利技术实施例中车道线检测阶段具体流程图。
具体实施方式
[0018]使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图1～图4和具体实施方式对本专利技术作进一步详细的说明。
[0019]本实施例采用的基于深度雷达点云和图像数据融合的车道线检测方法，包括以下步骤：
[0020]步骤1，多传感器数据采集与标定。本实施例中使用的传感器包含激光雷达、摄像头和惯导。其中，利用激光雷达采集点云数据，利用摄像头采集图像数据，利用惯导采集车辆的坐标与位姿信息。
[0021]首先，由于各传感器初始位置不同，需要对各传感器进行标定，将各传感器采集到的数据映射到统一坐标系下。
[0022](1)摄像头—雷达标定
[0023]摄像头内参标定。采用基于模板匹配检测棋盘格角点，计算相机成像中角点之间的位置关系和真实世界下角点之间的位置关系，得到相机内参的四个参数，分别为：图像在x方向上每个像素的物理尺寸dx,在y方向上每个像素的物理尺寸dy,即一个像素代表的实际物理值的大小；图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数u0；图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数v0。
[0024]摄像头外参标定。选用棋盘格的40个角点作为特征点，分别在图像和雷达上求出其坐标，然后利用迭代最近点方法计算外参的旋转平移参数，得到摄像头外参的六个参数，分别为：翻滚角roll、俯仰角pitch、航向角yaw，分别对应了物体绕坐标系x轴旋转、y轴旋转和z轴旋转所对应的值转角值；x、y、z分别表示物体沿三个坐标轴平移的距离。
[0025](2)雷达—惯导标定
[0026]惯导采集到的数据为惯导位姿，通过设置目标杆臂输出点参数，将该点映射到激
光雷达中心的正下方进行计算，使用手眼标定方法计算惯导坐标系到雷达坐标系的转移矩阵。将惯导的数据从全球导航卫星系统(GNSS)坐标系转换为地心坐标系(ECEF),采用LOAM算法计算激光雷达的位姿。
[0027]完成传感器标定后，需要进一步进行数据同步，本实施例采用一种基于时间戳的数据同步方法，对不同采样频率的传感器数据进行同步，方法流程图如图2。
[0028]系统收到相机数据和惯导数据的时候，会将它们存在对应的缓存中；算法选定采样频率的激光雷达传感器数据作为参考点进行同步软件触发，当系统收到雷达点云数据的时候，会触发同步程序，同步程序的作用是从相机数据缓存和惯导数据缓存中，寻找时间戳与当前时间戳的数据帧，并将搜寻到的图像数据、惯导数据和接收到的雷达数据组成一帧数据存储起来，同时清理已有的数据缓存，防止缓存数据过多导致系统出现异常。
[0029]步骤2，数据预处理。
[0030](1)图像数据预处理。
[0031]首先对采集到的图像数据进行高斯滤波，去除噪声干扰，提高图像的清晰度；然后通过将图像进行RGB转换到HSL空间再转换为RGB空间的方法，调整图像的亮度和饱和度，得到质量更高的图像。
[0032](2)雷达点云数据预处理。
[0033]首先采用基于半径滤波算法对点云数据噪点进行过滤，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度雷达点云和图像数据融合的车道线检测方法, 适合在计算设备中执行，其特征在于，包括以下步骤:获取经过标定的不同传感器采集的RGB图像、点云数据及车辆坐标与位姿信息;将不同传感器采集到的RGB图像数据、点云数据及车辆坐标与位姿信息映射到同一坐标系后, 对不同采样频率的传感器数据进行同步,获得对齐后的雷达点云数据、图像及坐标位姿数据；对RGB图像进行高斯滤波，对点云数据进行点云噪点处理以及点云地面拟合，得到上采样后的点云数据；分别利用Hourglass网络对RGB图像以及点云数据提取融合特征；利用残差模块进行融合特征整合，利用融合特征进行车道线检测，实现雷达...

【专利技术属性】
技术研发人员：张昌杰，娄玉强，刘凯，
申请(专利权)人：荆州智达电动汽车有限公司，
类型：发明
国别省市：