一种基于深度学习的端到端车道线检测方法技术

本发明专利技术公开了一种基于深度学习的车道线检测方法，属于语义分割领域。本发明专利技术首先将由相机拍摄到的待检测车道线图片输入预先经过训练的车道线检测模型中，先由主干网络提取图像特征，再将提取的图像特征输入Transformer网络中提取全局特征，最后将提取的全局特征通过输出层得到待检测车道线图片中每条车道线的拟合参数集；所述拟合参数集包括车道线拟合多项式系数、车道线起始点高度以及车道线消失点高度；根据得到的所述拟合参数集，在待检测车道线图片中定位出每一条车道线，并获取所述相机的内参和外参，将图像坐标系下的车道线转换为世界坐标系下的车道线。利用本发明专利技术能保证车辆实际行驶过程中对于车道线检测所需的精度和速度。度和速度。度和速度。

【技术实现步骤摘要】
一种基于深度学习的端到端车道线检测方法


[0001]本申请涉及自动驾驶
，具体为一种基于深度学习的端到端的车道线检测方法。

技术介绍

[0002]车道线检测是自动驾驶行车模块中一个相当重要的功能，它可以帮助车辆识别车道线，从而使得车辆保持在正确的车道上行驶，对于自动驾驶车辆的安全起着至关重要的作用，而安全问题也是自动驾驶最重要的问题，这就要求车道线检测具有高精度、实时性和鲁棒性的特点。
[0003]在深度学习兴起之前，车道线检测主要使用传统图像处理的方法。主要步骤是图像前处理、特征提取和曲线拟合。图像前处理包括去除噪声、处理光线、提取ROI以及色彩空间变换。去除噪声主要使用各种滤波如均值滤波、中值滤波、高斯滤波以及FIR滤波等。而对于车辆行驶中遇到的各种光线问题，如光线昏暗或者强光照主要采用阈值分割、otsu算法。提取ROI主要去除图像中不包含车道线的部分如天空。色彩空间变换是通过将RGB图像转换为HLS图像或者YCbCr图像从而更方便处理。特征提取主要通过Canny边缘检测、FIR滤波以及霍夫变换。最后是对处理后的图像进行曲线拟合，曲线拟合的方法有抛物线拟合、Catmull
‑
Rom spline、Cubic B
‑
spline以及螺旋曲线等。
[0004]基于图像处理的传统方法运行效率较高，然而实际汽车行驶的环境非常复杂，如光线、遮挡、磨损等各类干扰因素使得该类方法精度较低。而近年来兴起的深度学习为车道线检测提供了新的思路。从算法流程的角度目前目前基于深度学习的车道线检测算法分为one
‑
step和two
‑
step两种，two
‑
step的主要步骤是特征提取和后处理(拟合、聚类)，而one
‑
step少了后处理部分。而根据算法思想的不同又可以分为基于图像分类、目标检测和语义分割三种不同的检测算法。
[0005]图像分类通常用来区分输入对象是什么，无法定位车道线的位置，所以需要结合先验信息，故通过图像分类进行检测有较大局限性。图像分类对于高级别任务来说显得有所不足，通过车道线上坐标点的回归显得更加可行。
[0006]对于目标检测主要的任务有两个：定位与识别。在EELane中输出了车道线两个端点的坐标与深度信息。而在VPGNet中提出了一种改进的定位消失点的方法，在后处理中使用点采样、聚类以及车道回归。而在STLNet中采用了前处理，利用深度学习对边界进行分类以及回归，而后进行车道拟合。
[0007]基于语义分割的车道线检测方法通过对像素点的分类获取车道线信息。

技术实现思路

[0008]本专利技术的目的在于解决现有技术中存在的问题，并提供一种基于深度学习的端到端的车道线检测方法。该方法不仅有较高的检测精度，检测速度也能得到保证，且输入图片经过网络运算之后直接输出拟合每条车道线在地面坐标系下的多项式，从而使得车辆规划
控制模块直接使用输出结果来进行路径的规划以及车辆的控制。
[0009]为实现上述专利技术目的，本专利技术拟采用的技术方案如下：
[0010]一种基于深度学习的端到端的车道线检测方法，其包括以下步骤：
[0011]S1、获取由相机拍摄到的待检测车道线图片；
[0012]S2、将待检测车道线图片输入预先经过训练的车道线检测模型中，先由主干网络提取图像特征，再将提取的图像特征输入Transformer网络中提取全局特征，最后将提取的全局特征通过输出层得到待检测车道线图片中每条车道线的拟合参数集；所述拟合参数集包括车道线拟合多项式系数、车道线起始点高度以及车道线消失点高度；
[0013]S3、根据得到的所述拟合参数集，在待检测车道线图片中定位出每一条车道线，并获取所述相机的内参和外参，将图像坐标系下的车道线转换为世界坐标系下的车道线。
[0014]作为优选，所述车道线检测模型中的主干网络采用ResNet50。
[0015]作为优选，所述输出层由全连接层和sigmoid层组成。
[0016]作为优选，所述车道线检测模型预先利用训练数据集进行训练，其中每一个车道线图片样本均带有图片中每条车道线的标注点集；在训练时，将训练数据集分批次输入车道线检测模型，由输出层输出车道线图片样本中每条车道线的拟合参数集，通过最小化总损失函数对模型参数进行优化，使基于车道线检测模型输出的拟合参数集定位的车道线接近其实际值。
[0017]作为优选，所述车道线检测模型训练所采用的总损失函数为三部分损失组成的多任务损失loss，其形式为：
[0018]loss＝W1loss1+W2loss2+W3loss3[0019]式中：W1、W2、W3分别三个损失项的权重；loss1、loss2、loss3分别为三个不同的损失项，其中：
[0020]第一个损失项loss1为多项式损失，其计算公式为：
[0021][0022]式中：n表示车道线图片样本中的车道线标注点数量，第j条车道线标注点的像素坐标为u
j
表示将第j条车道线标注点的纵坐标v
j
输入对应的车道线拟合多项式后得到的横坐标；所述车道线拟合多项式根据当前车道线检测模型输出的拟合参数集确定；
[0023]第二个损失项loss2为车道线起始点高度损失，其计算公式为：
[0024][0025]式中：m表示车道线图片样本中的车道线数量，s
j
和分别表示第j个车道线起始点高度预测值和标签值；
[0026]第三个损失项loss3为车道线消失点高度损失，其计算公式为：
[0027]loss3＝(h
‑
h
*
)2[0028]式中：h和h
*
分别表示车道线图片样本中的车道线消失点高度的预测值和标签值。
[0029]作为优选，所述车道线拟合多项式为三次多项式，其形式为：
[0030]v＝a*u3+b*u2+c*u+d
[0031]式中：a、b、c、d分别为车道线拟合多项式系数，u和v为车道线上一个点在图像坐标系下的横坐标和纵坐标。
[0032]作为优选，所述相机为单目相机。
[0033]作为优选，所述将图像坐标系下的车道线转换为世界坐标系下的车道线的做法为：
[0034]针对待检测车道线图片中定位出每一条车道线，沿车道线上均匀采样若干个采样点；然后利用所述相机的内参将图像坐标下的采样点坐标转化为相机坐标系下的采样点坐标；再利用所述相机的外参将相机坐标系下的采样点坐标转化为世界坐标系下的采样点坐标；最后基于每条车道线在世界坐标系下的各采样点坐标，重新对车道线进行拟合。
[0035]与现有技术相比，本专利技术具有以下有益效果：
[0036]1、本专利技术提出的基于深度学习的车道线检测方法能够在可视范围内较为精准地检测车道线的位置。
[0037]2、本专利技术的车道线检测方法仅需使用一个单目相机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的端到端的车道线检测方法，其特征在于，包括以下步骤：S1、获取由相机拍摄到的待检测车道线图片；S2、将待检测车道线图片输入预先经过训练的车道线检测模型中，先由主干网络提取图像特征，再将提取的图像特征输入Transformer网络中提取全局特征，最后将提取的全局特征通过输出层得到待检测车道线图片中每条车道线的拟合参数集；所述拟合参数集包括车道线拟合多项式系数、车道线起始点高度以及车道线消失点高度；S3、根据得到的所述拟合参数集，在待检测车道线图片中定位出每一条车道线，并获取所述相机的内参和外参，将图像坐标系下的车道线转换为世界坐标系下的车道线。2.如权利要求1所述的基于深度学习的端到端的车道线检测方法，其特征在于，所述车道线检测模型中的主干网络采用ResNet50。3.如权利要求1所述的基于深度学习的端到端的车道线检测方法，其特征在于，所述输出层由全连接层和sigmoid层组成。4.如权利要求1所述的基于深度学习的端到端的车道线检测方法，其特征在于，所述车道线检测模型预先利用训练数据集进行训练，其中每一个车道线图片样本均带有图片中每条车道线的标注点集；在训练时，将训练数据集分批次输入车道线检测模型，由输出层输出车道线图片样本中每条车道线的拟合参数集，通过最小化总损失函数对模型参数进行优化，使基于车道线检测模型输出的拟合参数集定位的车道线接近其实际值。5.如权利要求1所述的基于深度学习的端到端的车道线检测方法，其特征在于，所述车道线检测模型训练所采用的总损失函数为三部分损失组成的多任务损失loss，其形式为：loss＝W1loss1+W2loss2+W3loss3式中：W1、W2、W3分别三个损失项的权重；loss1、loss2、loss3分别为三个不同的损失项，其中：第一个损失项loss1为多...

【专利技术属性】
技术研发人员：张微，李朕洋，冯天，
申请(专利权)人：浙江大学，
类型：发明
国别省市：