【技术实现步骤摘要】
本专利技术涉及计算机视觉、车道线检测与自动驾驶环境感知的，尤其是指一种基于深度学习的低光照环境车道线检测方法。
技术介绍
1、自动驾驶环境感知是自动驾驶感知技术中非常重要的一环，感知在自动驾驶三大环节：感知、决策、控制中，起到为决策模块提供准确有效的道路信息的作用，直接影响到决策与控制的表现。车道线检测是自动驾驶环境感知的一个重要组成部分。
2、自动驾驶常用的传感器主要有三类：摄像头、激光雷达、毫米波雷达，由于雷达的成本较高，且比起雷达点云较为敏感的材质与高度特征，车道线的视觉特征更为显著，常为白色或黄色的直线或曲线，因此车道线检测的研究热点主要集中在基于摄像头的视觉算法。
3、随着计算机视觉的不断发展，在基于摄像头的车道线检测研究中，研究者们提出了很多种方法，大体可以分为几类：基于几何与机器学习的车道线检测方法、将车道线检测任务视为目标检测任务的车道线检测方法、将车道线检测任务视为语义分割任务的车道线检测方法、将车道线检测任务视为关键点检测与回归任务的车道线检测方法。其中基于几何与机器学习的车道线检测方法虽然速度快，但精度很低；将车道线检测视为语义分割任务或目标检测任务的检测方法虽然精度高，但速度太慢；针对自动驾驶场景下的实时性与稳定性需求，更为合适的方法是将车道线检测任务视为关键点检测与回归任务的车道线检测方法。其次，因为摄像头对光照敏感，过低的可见度会影响车道线检测的精度，因此不论哪种方法都存在黑暗条件下检测准确率较低的问题。
4、综上所述，目前虽然存在多种车道线检测方法，但面对自动驾驶
技术实现思路
1、本专利技术的目的在于解决自动驾驶场景中车道线检测实时性与准确性不均衡的问题以及因光照变化引起的车道线检测精度下降的问题，提供了一种基于深度学习的低光照环境车道线检测方法，通过深度学习方法提高车道线检测速度与精度，可更准确更快速地检测低光照环境下的车道线，进一步提高自动驾驶的安全性与可靠性。
2、为实现上述目的，本专利技术所提供的技术方案为：基于深度学习的低光照环境车道线检测方法，包括以下步骤：
3、1)获取车道线数据集tusimple；
4、2)对tusimple进行预处理，并按比例划分为训练集与验证集；
5、3)把训练集送入构建的基于深度学习的车道线检测网络进行训练，并用验证集验证训练效果，以车道线检测网络在验证集上的表现确定最佳车道线检测网络模型权重参数，用其构建最优的车道线检测网络模型；其中，基于深度学习的车道线检测网络由resnet50主干网络、cot注意力模块和两个mlp(多层感知器)模块构成，resnet50主干网络用于提取输入车道线图像的特征，cot注意力模块用于筛选resnet50主干网络提取的特征中的关键特征，并输入到两个mlp模块中，一个mlp模块用于进行车道线的分类，另一个mlp模块用于进行车道线的定位；
6、4)获取多曝光图像数据集sice，用于训练构建的低光照增强网络，得到最优的低光照增强网络模型；其中，低光照增强网络共有6层，前3层各由1个32通道的3*3卷积层构成，后3层各由2个32通道的3*3卷积层融合构成，并设计损失函数对其进行优化；
7、5)对步骤3)得到的最优的车道线检测网络模型与步骤4)得到的最优的的低光照增强网络模型进行量化与部署；
8、6)将车辆前置摄像头采集的道路图像逐帧输入部署好的低光照增强网络模型中，得到增强图像，再将增强图像输入到部署好的车道线检测网络模型中，得到车道线检测结果，并将结果绘制在输入图像上，实现检测结果的可视化。
9、进一步，在步骤1)中，获取的车道线数据集tusimple，包括车道线图片和车道线图片的标注文件。
10、进一步，在步骤2)中，预处理包括将tusimple的图像分割为若干行，记录其中包含车道线的区域的坐标范围，写入tusimple的标注文件中；训练集和验证集的划分比例按需调整，但应满足训练集规模大于验证集规模。
11、进一步，在步骤3)中，当有图像输入时，车道线检测网络首先通过resnet50主干网络对在步骤2)中已分割的各行图像进行深度特征提取；接着，通过cot注意力模块筛选关键特征，并将其转化为高维特征向量，再展平为一维行向量后，分别输入至两个mlp模块进行处理；两个mlp模块中，一个mlp模块负责车道线的定位，用于寻找车道线上各像素点的坐标，将该mlp模块的输出结果送至一个softmax模块中，该softmax模块输出的结果是输入的各行中，每行包含的各个坐标有车道线经过的概率，得到该行车道线预测结果的公式为：
12、
13、式中，为第i行的定位预测值，j是对输入行所有横坐标的遍历，j是输入行中所有像素点的横坐标集合，pbi,j是第i行、第j个横坐标处的概率值，即softmax模块在该处的输出值；
14、定义车道线结构损失函数对该mlp模块进行优化：
15、lstr＝λlshape+lsim (2)
16、式中，lstr为车道线结构损失函数，lshape为车道线外形损失函数，lsim为车道线像素点相似度损失函数，λ为车道线像素点相似度损失权重系数；
17、定义车道线外形损失函数lshape如下：
18、
19、式中，h为图像分割后的行数，k为对h的遍历，表示第k行的定位预测值，表示第k+1行的定位预测值，表示第k+2行的定位预测值，ωshape为针对车道线外形损失的随机扰动；
20、定义车道线像素点相似度损失函数lsim如下：
21、
22、式中，a为图像分割后的行数，b为对a的遍历，pb为对应第b行的mlp模块输出值，pb+1为对应第b+1行的mlp模块输出值，ωsim为针对车道线像素点相似度损失的随机扰动；
23、另一个mlp模块进行分类，判断步骤2)分割好的某行是否含有车道线像素点，对定位结果起到辅助判别作用；将分类结果送入一个softmax模块中，输出分类预测值，定义车道线分类损失函数如下：
24、
25、式中，lcls为车道线分类损失函数，n为输入该mlp模块的像素点的总数，n为对n的遍历，pc代表softmax模块的输出，pcn为第n个像素点通过softmax模块的输出；
26、车道线检测网络结合两个mlp模块的输出进行分析；当用于分类的mlp模块判定某一图像行不包含车道线时，若存在与之相对应的定位预测值，则认为这些预测值缺乏可信度，因此将放弃该行的全部定位预测结果；反之，若用于分类的mlp模块确认某行图像中存在车道线，那么该行的车道线预测结果将通过式(1)进行计算；
27、得到最终输出的车本文档来自技高网...
【技术保护点】
1.基于深度学习的低光照环境车道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的低光照环境车道线检测方法，其特征在于，在步骤1)中，获取的车道线数据集TuSimple，包括车道线图片和车道线图片的标注文件。
3.根据权利要求2所述的基于深度学习的低光照环境车道线检测方法，其特征在于，在步骤2)中，预处理包括将TuSimple的图像分割为若干行，记录其中包含车道线的区域的坐标范围，写入TuSimple的标注文件中；训练集和验证集的划分比例按需调整，但应满足训练集规模大于验证集规模。
4.根据权利要求3所述的基于深度学习的低光照环境车道线检测方法，其特征在于，在步骤3)中，当有图像输入时，车道线检测网络首先通过ResNet50主干网络对在步骤2)中已分割的各行图像进行深度特征提取；接着，通过CoT注意力模块筛选关键特征，并将其转化为高维特征向量，再展平为一维行向量后，分别输入至两个MLP模块进行处理；两个MLP模块中，一个MLP模块负责车道线的定位，用于寻找车道线上各像素点的坐标，将该MLP模块的输出结果送至一个sof
5.根据权利要求4所述的基于深度学习的低光照环境车道线检测方法，其特征在于，在步骤4)中，SICE包含同一场景在不同曝光条件下的图像；低光照增强网络的损失函数La为：
6.根据权利要求5所述的基于深度学习的低光照环境车道线检测方法，其特征在于，在步骤5)中，将步骤3)得到的最优的车道线检测网络模型和步骤4)得到的最优的低光照增强网络模型进行INT8量化，并转换为ONNX格式的模型，再将ONNX格式的模型转换为TensorRT格式的模型，完成模型的部署。
...【技术特征摘要】
1.基于深度学习的低光照环境车道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的低光照环境车道线检测方法，其特征在于，在步骤1)中，获取的车道线数据集tusimple，包括车道线图片和车道线图片的标注文件。
3.根据权利要求2所述的基于深度学习的低光照环境车道线检测方法，其特征在于，在步骤2)中，预处理包括将tusimple的图像分割为若干行，记录其中包含车道线的区域的坐标范围，写入tusimple的标注文件中；训练集和验证集的划分比例按需调整，但应满足训练集规模大于验证集规模。
4.根据权利要求3所述的基于深度学习的低光照环境车道线检测方法，其特征在于，在步骤3)中，当有图像输入时，车道线检测网络首先通过resnet50主干网络对在步骤2)中已分割的各行图像进行深度特征提取；接着，通过cot注意力模块筛选关键特征，并将其转化为...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。