一种车道线分段拟合方法及系统技术方案

本发明专利技术提供一种车道线分段拟合方法及系统。本发明专利技术先对采集的图像利用语义分割模型进行车道线提取，得到车道线的分割结果，然后对该结果进行连通区域计算并采样得到关键点，之后利用霍夫变换直线检测算法对符合直线关系的关键点进行选取，拟合得到多个直线车道线，而未被选取的关键点则属于曲线部分，然后利用曲线部分相邻的关键点的位置变化来表示曲线的一阶导数，并寻找一阶导数方向变化的临界点作为曲线的边界点，实现曲线的分段表示；之后再利用三次多项式对曲线关键点进行重新拟合，最后将拟合得到的多个分段车道线拼接，形成多条完整车道线。本发明专利技术可确保分段后的每一段车道线都能够被有效的拟合，进而提高了对道路中车道线的识别精度。车道线的识别精度。车道线的识别精度。

【技术实现步骤摘要】
一种车道线分段拟合方法及系统


[0001]本专利技术涉及车辆自动驾驶
，特别是涉及一种车道线分段拟合方法及系统。

技术介绍

[0002]近年来，自动驾驶系统(Autonomous Driving System，简称ADS)得到快速发展，智能驾驶的时代正在到来。ADS主要是通过利用车辆上的各种传感器来实现对周围环境的感知，获取道路及目标信息。在道路信息中，车道线可以规范当前车辆的行驶规则及帮助对周围车辆行驶意图的判断，对后续的规划和控制有着重大的作用。
[0003]现有车道线检测主要是通过对道路信息进行分割，得到车道线的特征点，并直接利用多项式对车道线进行拟合，考虑到多项式的表达能力及避免龙格现象的出现，实际使用中多采用3次多项式进行拟合。
[0004]然而实际道路中，车道线线型多样，3次多项式的拟合能力有限，无法精准的实现对车道线的拟合。一种常用的方式是将车道线人为的分割为多条简单车道线的构成，使用多个数学模型分别对每段车道线进行拟合，但是如何确定分界点是一个重要的问题。也有采用按距离进行等分的方式来将车道线分为3部分，并分别进行拟合。但上述的分段方式太过简单，难以确保每段车道线足够平滑，能够被3次多项式进行有效的拟合，达不到对车道线精确描述的需求，识别精度有待提高。

技术实现思路

[0005]本专利技术提供一种车道线分段拟合方法及系统，可根据车道线自身的情况，对车道线进行分段，确保分段后的每一段车道线都能够被有效的拟合，进而达到对道路中车道线精确描述的作用，提高了识别精度，为车辆后续的规划和控制提供可靠的感知信息，实现更安全的自动驾驶系统。
[0006]为了实现上述目的，本专利技术采用的技术方案如下：
[0007]一种车道线分段拟合方法，包括以下步骤：
[0008]步骤S1、采集车辆行驶过程中的图像；
[0009]步骤S2、利用语义分割模型对当前帧图像的车道线进行提取，得到车道线的分割结果；
[0010]步骤S3、将分割结果转换为二值图，然后通过扫描得到对应的连通区域；
[0011]步骤S4、对连通区域进行采样得到车道线关键点；
[0012]步骤S5、利用霍夫变换直线检测算法对符合直线关系的关键点进行选取，并拟合得到多个直线车道线，而未被选取的关键点则属于曲线部分；
[0013]步骤S6、利用曲线部分相邻的关键点的位置变化来表示曲线的一阶导数，并寻找一阶导数方向变化的临界点作为曲线的边界点，实现对曲线的分段表示；
[0014]步骤S7、分别对每段曲线中的关键点采用三次多项式进行拟合，得到多个曲线车
道线；
[0015]步骤S8、对分段得到的多个直线车道线和曲线车道线进行拼接，构成当前帧图像的多条完整车道线。
[0016]本专利技术根据车道线自身的情况，先利用霍夫变换(Hough Transform)直线检测算法将直线部分检测剔除，实现对车道线的初步分段，为确保对曲线部分准确拟合，再对留下的曲线部分进一步分段，根据曲线的一阶导数的方向变化来自动选取分解点，实现曲线部分的分段，分段后再利用三次多项式进行重新拟合，根据拟合得到的分段车道线信息，将分段车道线进行拼接，构成多条完整的车道线，以方便后续规划控制对车道线信息的使用。通过上述的方式，本专利技术确保分段后的每一段车道线都能够被有效的拟合，进而提高了对道路中车道线的识别精度。
[0017]进一步，当检测下一帧图像时，执行步骤S2
‑
S4，得到下一帧图像的车道线关键点，然后判断下一帧图像的车道线关键点是否属于前一帧图像的已有分段车道线；
[0018]对不属于前一帧图像已有分段车道线的关键点，执行步骤S5
‑
S7，得到多个新的直线车道线和曲线车道线；
[0019]对属于前一帧图像已有分段车道线的关键点，则结合扩展卡尔曼滤波算法对前一帧图像得到的直线车道线和曲线车道线进行实时滤波更新；
[0020]最后将新的直线车道线、曲线车道线与通过滤波后的直线车道线、曲线车道线进行拼接，构成多条完整的新车道线。
[0021]对于车辆行驶过程中新观测到的车道线关键点，本专利技术首先判断其是否属于已有的分段车道线，若不属于现有分段车道线，本专利技术根据之前步骤中的方式对车道线进行分段；若属于已有分段车道线，则通过扩展卡尔曼滤波算法(Extended Kalman Filter，EKF)结合当前观测到的车道线关键点对车道线信息进行更新，以实现对车道线的实时跟踪。通过对比前后帧图像中是否存在已有的关键点，以节省识别过程，及利用EKF对已有的进行滤波更新，顺畅衔接前后帧中对于车道线的识别，有效提高了识别精度和效率。
[0022]进一步，在步骤S2中，使用基于卷积神经网络的语义分割模型对图像中的车道线进行提取，通过对图像中像素位置是否属于车道线进行分类，进而得到车道线的分割结果。
[0023]此处的识别过程是基于对含有车道线标准图像进行训练好的语义分割模型，当测试的图像输入该模型后，该模型进行特征提取、分类等流程，最后输出分割后含有车道线的区域。
[0024]进一步，在步骤S4中，对连通区域进行采样得到车道线关键点的具体过程如下：
[0025]先对每个连通区域的边界点上求法向量，然后求取当前边界点的单法向量与对面连通区域边界的交点，再求取当前边界点与该交点的平均值，将该平均值作为相应的关键点，并对图像进行逆透射变换得到关键点在世界坐标系下的位置信息。
[0026]进一步，在步骤S5中，使用霍夫变换直线检测算法将属于车道线中的直线部分的关键点检测出来，并得到直线部分的拟合方程：
[0027]y＝kx+m
[0028]其中k表示车道线和世界坐标系之间的斜率，m表示车道线与车辆的距离；
[0029]通过上式将符合直线关系的多个关键点进行拟合，进而得到多个直线车道线。
[0030]进一步，在步骤S7中，三次多项式如下：
[0031]y＝a+bx+cx2+dx3[0032]其中a表示当前车道线与车辆的距离，b表示车道线和世界坐标系之间的斜率，c、d分别代表车道线的曲率及曲率变化率；
[0033]通过上式将分段后的曲线上的多个关键点进行拟合，进而得到多个相应的曲线车道线。
[0034]进一步，步骤S8中，对分段得到的多个直线车道线和曲线车道线进行拼接，构成当前帧图像的多条完整车道线的具体过程如下：
[0035]分两种情况进行拼接；
[0036]若当前分段得到的车道线为同一连通域下的车道线连接，则直接判断为属于同一条车道线的组成部分，直接进行端点连接；
[0037]若当前分段得到的车道线不为同一连通域下的车道线连接，则将分段后的车道线的端点延伸到其他车道线的端点处，并比较延伸后两车道线在端点处的距离，同时考虑车道线的平滑性，需进一步比较两车道线在该位置处的一阶导数，如果两者均满足所设定的阈值条件时，则判断为属于同一条车道线的组成部分，直接进行端点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线分段拟合方法，其特征在于，包括以下步骤：步骤S1、采集车辆行驶过程中的图像；步骤S2、利用语义分割模型对当前帧图像的车道线进行提取，得到车道线的分割结果；步骤S3、将分割结果转换为二值图，然后通过扫描得到对应的连通区域；步骤S4、对连通区域进行采样得到车道线关键点；步骤S5、利用霍夫变换直线检测算法对符合直线关系的关键点进行选取，并拟合得到多个直线车道线，而未被选取的关键点则属于曲线部分；步骤S6、利用曲线部分相邻的关键点的位置变化来表示曲线的一阶导数，并寻找一阶导数方向变化的临界点作为曲线的边界点，实现对曲线的分段表示；步骤S7、分别对每段曲线中的关键点采用三次多项式进行拟合，得到多个曲线车道线；步骤S8、对分段得到的多个直线车道线和曲线车道线进行拼接，构成当前帧图像的多条完整车道线。2.根据权利要求1所述的一种车道线分段拟合方法，其特征在于，当检测下一帧图像时，执行步骤S2
‑
S4，得到下一帧图像的车道线关键点，然后判断下一帧图像的车道线关键点是否属于前一帧图像的已有分段车道线；对不属于前一帧图像已有分段车道线的关键点，执行步骤S5
‑
S7，得到多个新的直线车道线和曲线车道线；对属于前一帧图像已有分段车道线的关键点，则结合扩展卡尔曼滤波算法对前一帧图像得到的直线车道线和曲线车道线进行实时滤波更新；最后将新的直线车道线、曲线车道线与通过滤波后的直线车道线、曲线车道线进行拼接，构成多条完整的新车道线。3.根据权利要求1所述的一种车道线分段拟合方法，其特征在于，在步骤S2中，使用基于卷积神经网络的语义分割模型对图像中的车道线进行提取，通过对图像中像素位置是否属于车道线进行分类，进而得到车道线的分割结果。4.根据权利要求1所述的一种车道线分段拟合方法，其特征在于，在步骤S4中，对连通区域进行采样得到车道线关键点的具体过程如下：先对每个连通区域的边界点上求法向量，然后求取当前边界点的单法向量与对面连通区域边界的交点，再求取当前边界点与该交点的平均值，将该平均值作为相应的关键点，并对图像进行逆透射变换得到关键点在世界坐标系下的位置信息。5.根据权利要求1所述的一种车道线分段拟合方法，其特征在于，在步骤S5中，使用霍夫变换直线检测算法将属于车道线中的直线部分的关键点检测出来，并得到直线部分的拟合方程：y＝kx+m其中k表示车道线和世界坐标系之间的斜率，m表示车道线与车辆的距离；通过上式将符合直线关系的多个关键点进行拟合，进而得到多个直线车道线。6.根据权利要求1所述的一种车道线分段拟合方法，其特征在于，在步骤S7中，三次多项式如下：y＝a+bx+cx2+dx3其中a表示当前车道线与车辆的距离，b表示车道线和世界坐标系之间的斜率，c、d分别
代表车道线的曲率及曲率变化率；通过上式将分段后的曲线上的多个关键点进行拟合，进而得到多个相应的曲线车道线。7.根据权利要求1所述的一种车道线分段拟合方法，其特征在于，步骤S8中，对分段得到的多个直线车道线和曲线车道线进行拼接，构成当前帧图像的多条完整车道线的具体过程如下：分两种情况进行拼接；若当前分段得到的车道线为同一连通域下的车道线连接，则直接判断为属于同一条车道线的组成部分，直接进行端点连接；若当前分段得到的车道线不为同一连通域下的车道线连接，则将分段后的车道线的端点延伸到其他车道线的端点处，并比较延伸后两车道线在端点处的距离，同时考虑车道线的平滑性，需进一步比较两车道线在该位置处的一阶导数，如果两者均满足所设定的阈值条件时，则判断为属于同一条车道线的组成部分，直接进行端点连接。8.根据权利要求2所述的一种车道线分段拟合方法，其特征在于，...

【专利技术属性】
技术研发人员：刘少林，董楠，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：