基于雷达点云和图像融合的自动驾驶车道信息检测方法技术

一种基于雷达点云和图像融合的自动驾驶车道信息检测方法，涉及自动驾驶感知技术领域。该方法通过实时检测到的车道线信息，计算更加精确的驾驶语义信息，包括中心线、航向角、停止线等。该方法具有异常处理功能，应对车道线识别错误、车道线丢失等异常情况，防止车辆在运行过程中发生未知的错误。无人驾驶车辆通过部署该方法，可以实时感知周围路面道路语义信息，辅助车辆进行行驶任务，具备非常好的鲁棒性与检测成功率。棒性与检测成功率。棒性与检测成功率。

【技术实现步骤摘要】
基于雷达点云和图像融合的自动驾驶车道信息检测方法


[0001]本专利技术涉及自动驾驶感知
,特别涉及一种基于雷达点云和图像融合的自动驾驶车道信息检测方法。

技术介绍

[0002]传统的车道线检测方法主要基于图像的方法来进行车道线检测，分为传统方法与深度学习方法，依赖的硬件系统主要是摄像头以及对应的计算单元。另外基于激光雷达的车道线检测系统，激光雷达传感器通过发送接收激光脉冲，形成雷达点云图像，早期的基于雷达点云的车道线检测方法是通过设置点云反射率阈值来分离点云中车道线点和非车道线点，依赖的硬件系统主要是激光雷达以及对应的计算单元。
[0003]传统的车道线检测系统，基于图像的车道线检测算法正常运行依赖良好的光照条件，并且面对复杂的道路环境如车辆遮挡车道线缺失等情况，算法模型准确率降低明显，很难满足无人驾驶任务需求；基于雷达点云的车道线检测系统，由于雷达点云的不连续性，很容易导致误检和漏检，同时不同型号上采集的点云数据训练得到的模型很难匹配到其他雷达上，这就造成了单一的车道线检测方法存在无法百分百满足车道线检测需要的情况。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的是提供一种基于雷达点云和图像数据融合的自动驾驶车道线检测方法。
[0005]专利技术所采用的技术方案是：一种基于雷达点云和图像融合的自动驾驶车道信息检测方法,其技术要点是，包括以下步骤:
[0006]获取激光雷达、相机和惯导采集得到的数据，并对获得的数据进行处理；
[0007]获取经过车道线检测模型输出的车道线检测结果和经过车道标识分割模型输出的分割结果，并发布模型运行后得到的检测分割结果；
[0008]通过试验场景下采集到的传感器数据，生成驾驶高精度地图；
[0009]结合高精度地图信息以及车道标识对路况进行判断，通过车道线信息计算驾驶语义信息；利用路况判断结果和驾驶语义信息计算得到车辆的速度和转向参数，对车辆底层进行控制。
[0010]上述方案中，图像采用高斯滤波对输入数据进行预处理，利用时间戳对所获取的传感器数据进行同步。
[0011]上述方案中，所述的生成高精度地图的方法为：分段采集各路段传感器数据并将不同激光雷达采集到的数据作为一个序列，对上述数据进行预处理，然后对多个序列进行车道标识分割获取路面信息，对惯导位姿矩阵进行叠加得到全局点云并带有车道标识信息，最终获得该序列的高精度地图。
[0012]上述方案中，所述的车道标识分割模型，具体是指：采用将IOU(Intersection
‑
over
‑
union),作为网络的损失函数改进的U
‑
Net网络，对点云数据进行分割，得到车道标识
分割识别结果。
[0013]本专利技术的有益效果是：该基于雷达点云和图像融合的自动驾驶车道信息检测方法，通过实时检测到的车道线信息，计算更加精确的驾驶语义信息，包括中心线、航向角、停止线等。该方法具有异常处理功能，应对车道线识别错误、车道线丢失等异常情况，防止车辆在运行过程中发生未知的错误。无人驾驶车辆通过部署该方法，可以实时感知周围路面道路语义信息，辅助车辆进性行驶任务，具备非常好的鲁棒性与检测成功率。
附图说明
[0014]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可根据这些附图获得其他的附图。
[0015]图1为本专利技术实施例中软件架构结构框图；
[0016]图2为本专利技术实施例中系统数据线路图；
[0017]图3为本专利技术实施例中车道线检测算法图原理图；
[0018]图4为本专利技术实施例中高精地图模块架构图；
具体实施方式
[0019]使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图1～图4和具体实施方式对本专利技术作进一步详细的说明。
[0020]本实施例采用的一种基于雷达点云和图像融合的自动驾驶车道信息检测方法，通过如图1所示的系统架构实现，并通过图2所示的数据线路进行连接。该系统包括采集处理数据的由激光雷达、摄像头和惯导构成的传感器组，进行数据计算的核心计算单元及嵌入式计算单元，5G路由、传感器组中各传感器之间、以及传感器组与核心计算单元、嵌入式计算单元之间通过HUB连接。本实施中嵌入式计算单元用于对数据进行预处理。核心计算单元用于对模型进行运行。本实施例可采用多个激光雷达，每个激光雷达都通过HUB连接到系统中。
[0021]本实施例中的基于雷达点云和图像融合的自动驾驶车道信息检测方法，能够实现车道线检测，车道标识识别以及驾驶高精度地图的实时构建，其在核心计算单元中执行，具体包括以下步骤：
[0022]步骤1，传感器数据采集与处理。
[0023]首先启动激光雷达、摄像头、惯导传感器数据接收节点，接收各传感器采集得到的数据，具体为由激光雷达采集到的点云数据、由摄像头采集到的图像数据、由惯导传感器采集到的位姿数据。各传感器数据送入对应的数据预处理模块，图像数据进行高斯滤波并调整亮度饱和度，激光点云数据进行降噪处理，然后基于时间戳对多传感器数据进行同步，同时建立软件节点发布同步后的多传感器数据。
[0024]步骤2，车道线检测与车道标识识别。
[0025](1)车道线检测。车道线检测模型采用融合后的点云与图像特征，通过Hourglass深度网络提取特征，融合后的特征再进入输出分支进行车道线检测。具体流程为核心计算
单元首先对Hourglass网络模型进行初始化操作，然后订阅同步数据节点准备接受同步后的多传感器数据。当节点接收到数据时，计算单元运行车道线检测模型，并在ROS上发布模型运行后得到的检测分割结果。
[0026](2)车道标识分割识别。采用面向高精度地图的车道线分割识别模型。点云范围选取以激光雷达为中心一定范围内(20m*20m*10m)进行截取，得到点云鸟瞰图，作为模型输入。分割模型采用改进后的U
‑
Net网络，网络模型主要由编码器层与解码器层组成，编码器层使用7*7的卷积核代替常规的3*3的卷积核，使得每个卷积层都包含较大范围的信息，网络中每个编码器层执行两次卷积操作和一次最大值池化操作，执行完成后该编码器层保存卷积输出结果，同时将输出传递给下一个编码器层。在解码器层中，每个解码层通过反卷积操作对输入的特征图进行上采样然后反卷积的结果与编码器层保存的卷积结果被合并到一起，进行卷积运算得到新的特征图并送入到下一解码器层中。最后解码器层的输出使用大小1*1的卷积核进行卷积操作，然后经过softmax层，得到最后分割的结果。相比与U
‑
Net模型，本改进模型采用IOU(Intersection
‑
over
‑
union)作为网络的损失函数，可以在分割车道标识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雷达点云和图像融合的自动驾驶车道信息检测方法, 其特征在于，包括以下步骤:获取激光雷达、相机和惯导采集得到的数据，并对获得的数据进行处理；获取经过车道线检测模型输出的车道线检测结果和经过车道标识分割模型输出的分割结果，并发布模型运行后得到的检测分割结果；通过试验场景下采集到的传感器数据，生成驾驶高精度地图；结合高精度地图信息以及车道标识对路况进行判断，通过车道线信息计算驾驶语义信息；利用路况判断结果和驾驶语义信息计算得到车辆的速度和转向参数，对车辆底层进行控制。2.根据权利要求1所述的基于雷达点云和图像融合的自动驾驶车道信息检测方法, 其特征在于，图像采用高斯滤波对输入数据进行预处理，利用时间戳对所获...

【专利技术属性】
技术研发人员：张昌杰，娄玉强，刘凯，
申请(专利权)人：荆州智达电动汽车有限公司，
类型：发明
国别省市：