一种面向高级别自动驾驶的车道线检测方法技术

本发明专利技术公开了一种面向高级别自动驾驶的车道线检测方法，利用由摄像头采集到的含有车道线的样本图像获得用于模型训练的真值数据，利用真值数据搭建并优化获得优化卷积神经网络模型；利用生成对抗网络对待检测图像进行去模糊适配处理，获得待检测车道线清晰图像；利用优化卷积神经网络模型通过形态学处理、连通域分析和空间聚类对待检测车道线清晰图像进行处理获得车道线实例分割结果；利用激光雷达检测路面获得车道线位置信息，结合车道线位置信息和车道线实例分割结果获得包含车道线类别信息和车道线位置信息的完整检测结果。本发明专利技术能够满足高级别自动驾驶对车道线检测准确率、召回率及信息完整性的要求。率、召回率及信息完整性的要求。率、召回率及信息完整性的要求。

【技术实现步骤摘要】
一种面向高级别自动驾驶的车道线检测方法


[0001]本专利技术涉及自动驾驶感知领域，更具体地说是涉及一种车道线检测方法，尤其应用于高级别自动驾驶场景。

技术介绍

[0002]车道线检测作为感知模块的核心功能之一，是自动驾驶系统中必不可少的环节，随着自动驾驶技术的快速发展，需要车道线检测识别的应用场景也越来越广泛。利用车载传感器实时检测行驶过程中结构化道路的车道线信息，为车道保持、自适应巡航、车道偏移预警以及高级别自动驾驶的路径规划等功能提供底层输入，是行车安全的重要保障。
[0003]车道线检测方法可以分为基于特征或模型的传统图像处理方法，以及基于深度学习的方法。其中，基于特征的车道线检测通常是利用车道线的底层特征，例如颜色、边缘、纹理、梯度变化等特征，从路面区域中提取出符合特征条件的车道线；基于模型的车道线检测通常根据车道线形状的几何特点，建立出车道线的几何模型，然后通过RANSAC算法或最小二乘法等方法求出车道线的几何模型参数，以此拟合出相应的车道线曲线。这些方法模式固定，实现较为容易，但需要人工手动调节算子参数，例如灰度变换、高斯模糊、边缘检测、霍夫变换等环节的参数。其检测效果容易受到道路环境的干扰，对于弯道、光线以及遮挡较为敏感，鲁棒性与实时性较差。近几年来，随着标注数据数量、神经网络算法性能、GPU算力的提升，基于深度学习的车道线检测算法逐渐成为主流。用于车道线检测的卷积神经网络模型较多，例如LaneNet，DVCNN以及VPGNet等，这些模型主要是建立在全卷积神经网络基础上解决二分类问题，该方法大体可以分为两个主要步骤，首先预测车道标记的分割掩码，然后将抛物线或样条曲线等车道线模型拟合到后处理的掩码上，这种方式能够较好地检测出车道线，但对车道线信息的检测却不完整，包含针对车道线类别和位置等信息的检测尚不成熟，不能满足高级别自动驾驶对车道线检测准确率、召回率及信息完整性的要求。

技术实现思路

[0004]本专利技术是为避免上述现有技术所存在的不足，提供一种面向高级别自动驾驶的车道线检测方法，能够准确检测车道线类别和位置的信息，满足高级别自动驾驶对车道线检测准确率、召回率及信息完整性的要求。
[0005]本专利技术为实现专利技术目的采用如下技术方案：
[0006]本专利技术面向高级别自动驾驶的车道线检测方法的特点是：利用由摄像头采集到的含有车道线的样本图像获得用于模型训练的真值数据，利用所述真值数据搭建并优化获得优化卷积神经网络模型；利用生成对抗网络对待检测图像进行去模糊适配处理，获得待检测车道线清晰图像；利用所述优化卷积神经网络模型通过形态学处理、连通域分析和空间聚类对所述待检测车道线清晰图像进行处理获得车道线实例分割结果；利用激光雷达检测路面获得车道线位置信息，结合所述车道线位置信息和车道线实例分割结果获得包含车道线类别信息和车道线位置信息的完整检测结果。
[0007]本专利技术面向高级别自动驾驶的车道线检测方法的特点也是在于是按如下步骤进行：
[0008]步骤1：针对由摄像头采集到的含有车道线的样本图像进行车道线类别定义，获得车道线标注规范；利用所述车道线标注规范对车道线进行类别标注获得模型训练用真值数据；
[0009]步骤2：对所述真值数据进行图像增强和类别比例适配，获得增强真值数据；
[0010]步骤3：利用所述增强真值数据按如下方式搭建包含层间特征聚合模块和层内信息循环传递模块的卷积神经网络模型：
[0011]以所述增强真值数据为输入，利用所述层间特征聚合模块对不同网络分支的输出特征图进行多尺度特征融合；利用所述层内信息循环传递模块对所述增强真值数据中的车道线像素进行稀疏特征空间的信息增强；根据独热机制设计所述卷积神经网络模型的输出维度，定义包含多分类焦点损失、像素聚类损失及正则项的加权综合损失函数，采用随机梯度下降算法优化所述加权综合损失函数，更新卷积神经网络模型参数，获得优化卷积神经网络模型；
[0012]步骤4：利用雨、雪和雾传感器判断天气状况，若判断为雨、雪或雾天，则利用生成对抗网络对雨、雪和雾天采集到的待检测图像进行去模糊适配处理，获得待检测车道线清晰图像；若判断为非雨、雪和雾天，则所述待检测图像即为待检测车道线清晰图像；
[0013]步骤5：利用所述优化卷积神经网络模型对所述待检测车道线清晰图像进行车道线信息推理，获得包含车道线类别信息的语义分割结果，对所述语义分割结果进行形态学处理、连通域分析和空间聚类，获得包含车道线类别信息的实例分割结果；
[0014]步骤6：对激光雷达扫描的路面信息进行回波强度差异提取，获得包含车道线像素的灰度图，对所述灰度图进行DBSCAN聚类，获得具有车道线位置信息的激光雷达检测结果；
[0015]步骤7：对所述实例分割结果与所述车道线位置信息进行时空配准和像素语义匹配融合，获得包含车道线类别信息与位置信息的完整检测结果，实现车道线检测。
[0016]本专利技术面向高级别自动驾驶的车道线检测方法的特点也在于：在所述步骤1中，将车道线标注规范中的车道线颜色区分为白色和黄色，车道线形式区分为实线、虚线、单线和双线，则不同特征组合的各类别车道线包括：白色单实线、白色单虚线、白色双实线、白色双虚线、黄色单实线、黄色单虚线、黄色双实线和黄色双虚线，同一类型车道线标签一致。
[0017]本专利技术面向高级别自动驾驶的车道线检测方法的特点也在于：在所述步骤2中，对真值数据进行图像增强和类别比例适配是指：采用图像翻转、旋转、缩放、裁剪和高斯滤波的手段对所述真值数据进行原始样本图像增强，并对所述样本图像中数量比例低于10％的车道线类别进行扩展，扩展后各个车道线类别数量的比值为0.8
‑
1.2，实现各种车道线种类及复杂场景的均匀配比。
[0018]本专利技术面向高级别自动驾驶的车道线检测方法的特点也在于：在所述步骤3中，所述层间特征聚合模块具有二个分支结构，分别是空间信息分支和高级语义分支；
[0019]所述空间信息分支的卷积核通道数为2
x
，x不小于6，整体为6
‑
8层堆叠，用于提取待检测车道线清晰图像中的车道线像素的空间位置关系信息，捕获车道线像素信息并获得所述空间信息分支的特征图；
[0020]所述高级语义分支的卷积核通道数为空间信息分支卷积核通道数的四分之一，整
体为12
‑
14层堆叠，用于提取待检测车道线清晰图像中的车道线纹理及类别信息，获得所述高级语义分支的包含车道线纹理及类别信息的特征图；
[0021]所述层间特征聚合模块是对空间信息分支的包含车道线空间位置关系信息的特征图和高级语义分支的包含车道线纹理及类别信息的特征图进行聚合，得到聚合特征图；
[0022]本专利技术面向高级别自动驾驶的车道线检测方法的特点也在于：在步骤3中，所述层内信息循环传递模块为：
[0023]在所述高级语义分支中的顶部隐藏层定义片卷积模块，用于提取车道线行列之间先验关系，对于所述高级语义分支顶部的三维张量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向高级别自动驾驶的车道线检测方法，其特征是：利用由摄像头采集到的含有车道线的样本图像获得用于模型训练的真值数据，利用所述真值数据搭建并优化获得优化卷积神经网络模型；利用生成对抗网络对待检测图像进行去模糊适配处理，获得待检测车道线清晰图像；利用所述优化卷积神经网络模型通过形态学处理、连通域分析和空间聚类对所述待检测车道线清晰图像进行处理获得车道线实例分割结果；利用激光雷达检测路面获得车道线位置信息，结合所述车道线位置信息和车道线实例分割结果获得包含车道线类别信息和车道线位置信息的完整检测结果。2.根据权利要求1所述的面向高级别自动驾驶的车道线检测方法，其特征是按如下步骤进行：步骤1：针对由摄像头采集到的含有车道线的样本图像进行车道线类别定义，获得车道线标注规范；利用所述车道线标注规范对车道线进行类别标注获得模型训练用真值数据；步骤2：对所述真值数据进行图像增强和类别比例适配，获得增强真值数据；步骤3：利用所述增强真值数据按如下方式搭建包含层间特征聚合模块和层内信息循环传递模块的卷积神经网络模型：以所述增强真值数据为输入，利用所述层间特征聚合模块对不同网络分支的输出特征图进行多尺度特征融合；利用所述层内信息循环传递模块对所述增强真值数据中的车道线像素进行稀疏特征空间的信息增强；根据独热机制设计所述卷积神经网络模型的输出维度，定义包含多分类焦点损失、像素聚类损失及正则项的加权综合损失函数，采用随机梯度下降算法优化所述加权综合损失函数，更新卷积神经网络模型参数，获得优化卷积神经网络模型；步骤4：利用雨、雪和雾传感器判断天气状况，若判断为雨、雪或雾天，则利用生成对抗网络对雨、雪和雾天采集到的待检测图像进行去模糊适配处理，获得待检测车道线清晰图像；若判断为非雨、雪和雾天，则所述待检测图像即为待检测车道线清晰图像；步骤5：利用所述优化卷积神经网络模型对所述待检测车道线清晰图像进行车道线信息推理，获得包含车道线类别信息的语义分割结果，对所述语义分割结果进行形态学处理、连通域分析和空间聚类，获得包含车道线类别信息的实例分割结果；步骤6：对激光雷达扫描的路面信息进行回波强度差异提取，获得包含车道线像素的灰度图，对所述灰度图进行DBSCAN聚类，获得具有车道线位置信息的激光雷达检测结果；步骤7：对所述实例分割结果与所述车道线位置信息进行时空配准和像素语义匹配融合，获得包含车道线类别信息与位置信息的完整检测结果，实现车道线检测。3.根据权利要求2所述的面向高级别自动驾驶的车道线检测方法，其特征是：在所述步骤1中，将车道线标注规范中的车道线颜色区分为白色和黄色，车道线形式区分为实线、虚线、单线和双线，则不同特征组合的各类别车道线包括：白色单实线、白色单虚线、白色双实线、白色双虚线、黄色单实线、黄色单虚线、黄色双实线和黄色双虚线，同一类型车道线标签一致。4.根据权利要求2所述的面向高级别自动驾驶的车道线检测方法，其特征是：在所述步骤2中，对真值数据进行图像增强和类别比例适配是指：采用图像翻转、旋转、缩放、裁剪和高斯滤波的手段对所述真值数据进行原始样本图像增强，并对所述样本图像中数量比例低于10％的车道线类别进行扩展，扩展后各个车道线类别数量的比值为0.8
‑
1.2，实现各种车
道线种类及复杂场景的均匀配比。5.根据权利要求2所述的面向高级别自动驾驶的车道线检测方法，其特征是：在所述步骤3中，所述层间特征聚合模块具有二个分支结构，分别是空间信息分支和高级语义分支；所述空间信息分支的卷积核通道数为2
x
，x不小于6，整体为6
‑
8层堆叠，用于提取待检测车道线清晰图像中的车道线像素的空间位置关系信息，捕获车道线像素信息并获得所述空间信息分支的特征图；所述高级语义分支的卷积核通道数为空间信息分支卷积核通道数的四分之一，整体为12
‑
14层堆叠，用于提取待检测车道线清晰图像中的车道线纹理及类别信息，获得所述高级语义分支的包含车道线纹理及类别信息的特征图；所述层间特征聚合模块是对空间信息分支的包含车道线空间位置关系信息的特征图和高级语义分支的包含车道线纹理及类别信息的特征图进行聚合，得到聚合特征图。6.根据权利要求5所述的面向高级别自动驾驶的车道线检测方法，其特征是：在步骤3中，所述层内信息循环传递模块为：在所述高级语义分支中的顶部隐藏层定义片卷积模块，用于提取车道线行列之间先验关系，对于所述高级语义分支顶部的三维张量C
×
H
×
W，首先将所述三维张量沿H向分解为H个切片，沿H向的一侧处理第一个H向切片，是将第一个H向切片与C个尺寸为C
×
u的卷积核张量进行一维卷积操作，获得第一个H向处理后切片，将所述第一个H向处理后切片与第二个H向切片相加得到新H向切片；对所述新H向切片按照与处理第一个H向切片的方式进行操作，再将获得的新的处理后切片与第三个H向切片相加，直到完成对所有H个切片的处理；随后沿H向的另一侧进行同样操作，获得大小同样为C
×
H
×
W的第一个更新三维张量；将所述第一个更新三维张量沿W向分解为W个切片，沿W向的一侧处理第一个W向切片，是将第一个W向切片与C个尺寸为C
×
u的卷积核张量进行一维卷积操作，获得第一个W向...

【专利技术属性】
技术研发人员：姜俊昭，彭彬，杨文豪，卢剑伟，徐业凯，石琴，刘世茂，江昊，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：