一种车道线预测和车道线缺陷检测方法技术

本发明专利技术涉及自动驾驶领域，具体涉及一种车道线预测和车道线缺陷检测方法，包括如下步骤：调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图，对图片中的车道线进行准确的标注，构成训练数据集，并对训练数据集进行数据增强；模型搭建，在编码器中设计MBMA注意力模块，获得车道线特征信息特征图；利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练；模型训练完成后，测试模型，取超过设定阈值的模型进行封装部署，将部署好的模型用于车道线预测和缺陷检测。本方案实现了对现有场景中车道线模糊、严重退化的精准预测；在预测车道线的同时，对车道线进行缺陷检测。对车道线进行缺陷检测。对车道线进行缺陷检测。

【技术实现步骤摘要】
一种车道线预测和车道线缺陷检测方法


[0001]本专利技术涉及自动驾驶领域，尤其是涉及到人工智能领域的深度学习技术和自动驾驶场景的一种车道线预测和车道线缺陷检测方法。

技术介绍

[0002]随着科技的发达，自动驾驶技术和先进的驾驶辅助系统在车辆行驶过程中的应用越来越多，为了保障车辆在行驶途中确定车辆所在的车道位置，其中最为关键的便是车道线的精准预测。与此同时场景的需求刺激和深度学习技术的快速发展下，通过计算机视觉的方式来获取车辆周围的视觉信息，并对车辆所在车道线的位置做出精准的预测受到了广大研究者的关注。同时，为了能够及时准确的对道路车道线进行养护检修，设计道路车道线缺陷的检测装置具有十分重要的意义。
[0003]目前，传统的车道检测方法主要是基于深度学习对低层次的卷积操作用来提取特征或者是边界点的启发式搜索算法完成对车道线的预测。但是车道线不仅具有高级语义，还具有特点的局部模式需要通过低层次的特征才能精准的定位到。以上传统的方法在车道线清晰、无遮挡等情况下的准确率还是不错的，但是在一些退化、模糊、遮挡等场景下的检测效果不理想。同时，车道线预测的精度提升和车辆行驶的安全也受到了复杂场景中的车道线不清晰、严重退化等问题的巨大影响。

技术实现思路

[0004]针对上述问题，本专利技术提供一种车道线预测和车道线缺陷检测方法，以实现对现有场景中车道线模糊、严重退化的精准预测；预测车道线的同时，对车道线进行缺陷检测，将缺陷图通过串口线以数据流的方式传到PLC，PLC发送读取指令，实时读取GPS中的位置信息并返回到上位机；上位机将实时位置信息和车道线缺陷图像一并上传到相关负责部门，便于及时维护。
[0005]本专利技术提供如下技术方案：一种车道线预测和车道线缺陷检测方法，包括如下步骤：步骤1、调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图，对图片中的车道线进行准确的标注，构成训练数据集，并对训练数据集进行数据增强；步骤2、模型搭建，在编码器中设计MBMA注意力模块，获得车道线特征信息特征图，在解码器中搭建解耦的车道线分割头和车道线缺陷检测头对车道线进行预测和缺陷检测；步骤3、利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练；通过复合损失函数反向传播计算的损失，以及对模型及时更新，并保留训练好的模型；步骤4、模型训练完成后，测试模型，取超过设定阈值的模型进行封装部署，将部署好的模型用于车道线预测和缺陷检测。
[0006]所述的步骤1包括，步骤11、通过PLC控制器控制灰点工业相机进行拍照，同时PLC控制器实时读取GPS中的经纬度位置信息后上传到上位机，上位机通过调用地图接口生成
车道位置信息，根据微调函数 的计算结果，控制PLC中的微调指令去调整左侧相机和右侧相机的横向视场角、纵向视场角，以保证能够拍摄到远端和完整的正视图车道线作为数据集来源；其中定义同向车道最外面两侧的宽度为1，其中为上位机返回的车辆到左侧同向车道的距离，同时车辆距离右侧通向车道的距离为1
‑
；定义左侧距离和右侧距离的差值作为车辆在同向车道中的位置，当，时，车辆在车道的中间位置，将相机角度调整到135
°
和45
°
；当， 时，车辆在车道的最左侧位置；当，=1 时，车辆在车道的最右侧位置；车辆在车道的最右侧位置；步骤12、对正视图中的车道线进行分析取舍以及标注，生成josn标签格式的数据集，然后对采集到的正视图调整大小为720
×
1280，为了提高泛化能力，对缩放后的图像采用随机旋转、移动和翻转相结合的增强方法，用于模型的训练。
[0007]所述步骤2包括，步骤21、选择轻量级的CSP
‑
Darknet骨干网络进行特征的提取，在其中嵌入设计的MBMA注意力模块，对正视图中的细长车道线高级语义信息的捕捉和有效的关注到车道线区域；步骤22、MBMA注意力模块通过两个分支去捕获通道的信息和空间位置感知信息，输入为B
×
C
×
H
×
W的特征图，将特征图在通道上均分为双分支F1为C/2
×
H
×
W和为C/2
×
H
×
W，其中通道分支中使用了LayerNorm正则化函数中样本特征的归一化权重因子α来生成注意力权重，将F1首先经过5
×
5的卷积来获取大的感受野，然后将特征调整为H
×
W
×
C/2并输入到LayerNorm中通过逐通道的计算样本特征内部的均值和标准差，再经过一个 线性映射，把归一化的特征通过可学习的参数 α和映射出到新的特征分布上，最后使用注意力权重生函数 计算出每个通道样本的得分，与相乘得到注意通道注意力权重；空间分支首先经过3
×
3的卷积来获取与通道分支不同感受野的特征信息，再分别经过自适应最大池化和自适应平均池化以分别对空间H和W两个方向进行空间位置信息的编码，使尺寸变为C
×
H
×
1和C
×
W
×
1，得到这两个方向的特征信息；将两个特征信息相加后，经过1
×
1卷积层调整通道数并进行特征融合；经过一层正则化函数和非线性激活函数对特征信息进行一个空间映射；将其沿着H和W两个空间维度方向分解为两个单独的特征层，经过两个1
×
1的卷积调整尺度后使用Sigmoid激活函数，最终得到行和列的分支注意力权重和，将三个权重相乘得到最终的注意力权重乘 到输入特征得到最终的注意力特征图 ；MBMA注意力模块计算公式如下：MBMA注意力模块计算公式如下：MBMA注意力模块计算公式如下：其中mean 代表通道中每个样本的平均值；代表通道中每个样本的方差，代
表坐标水平方向的编码通道；是代表可学习的归一化权重因子参数；为可学习的偏执参数，逐元素相乘,σ代表Sigmoid激活函数；逐元素相乘,σ代表Sigmoid激活函数；逐元素相乘,σ代表Sigmoid激活函数；其中σ代表Sigmoid激活函数；β是1
×
1的卷积，代表坐标水平方向的编码通道；是代表坐标竖直方向的编码通道；为初始输入特征，逐元素相乘。
[0008]步骤23、将从解码器模块中输出的最后一层特征图加入注意力模块进行特征加权增强后经过卷积和上采样送入到检测器中，其尺寸为80
×
80
×
256；步骤24、车道线解耦检测器包括并行的车道线分割检测头和车道线缺陷检测头：车道线分割头是把最近邻插值上采样后的输出特征作为输入，经过1
×
1的卷积层、正则化层和Hardswish激活函数再经过一层1
×
1的卷积层来对像素级的特征和边缘信息进行融合，最后的结果作为输出；车道线分割检测头采用下式：步骤25、车道线缺陷检测头，首先通过一个全连接层，然后通过两个1
×
1级联的卷积层来融合空间位置信息和深层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线预测和车道线缺陷检测方法，其特征在于包括如下步骤：步骤1、调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图，对图片中的车道线进行准确的标注，构成训练数据集，并对训练数据集进行数据增强；步骤2、模型搭建，在编码器中设计MBMA注意力模块，获得车道线特征信息特征图，在解码器中搭建解耦的车道线分割头和车道线缺陷检测头对车道线进行预测和缺陷检测；步骤3、利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练；步骤4、模型训练完成后，测试模型，取超过设定阈值的模型进行封装部署，将部署好的模型用于车道线预测和缺陷检测。2.根据权利要求1所述车道线预测和车道线缺陷检测方法，其特征在于，所述的步骤1包括，步骤11、通过PLC控制器控制灰点工业相机进行拍照，同时PLC控制器实时读取GPS中的经纬度位置信息后上传到上位机，上位机通过调用地图接口生成车道位置信息，根据微调函数 的计算结果，其中表示相机的视场角角度，控制PLC中的微调指令去调整左侧相机和右侧相机的横向视场角、纵向视场角，以保证能够拍摄到远端和完整的正视图车道线作为数据集来源；其中定义同向车道最外面两侧的宽度为1，其中 为上位机返回的车辆到左侧同向车道的距离，同时车辆距离右侧通向车道的距离为1
‑ꢀ
；定义左侧距离和右侧距离的差值作为车辆在同向车道中的位置，当 ， 时，车辆在车道的中间位置，将相机角度调整到135
°
和45
°
；当 ， 时，车辆在车道的最左侧位置；当 ， 时，车辆在车道的最右侧位置；，；步骤12、对正视图中的车道线进行分析取舍以及标注，生成josn标签格式的数据集，然后对采集到的正视图调整大小为720
×
1280，为了提高泛化能力，对缩放后的图像采用随机旋转、移动和翻转相结合的增强方法，用于模型的训练。3.根据权利要求1所述车道线预测和车道线缺陷检测方法，其特征在于，所述步骤2包括，步骤21、选择轻量级的CSP
‑
Darknet骨干网络进行特征的提取，在其中嵌入设计的MBMA注意力模块，用于对正视图中的细长车道线语义信息的捕捉和关注到车道线区域；步骤22、MBMA注意力模块通过两个分支去捕获通道的信息和空间位置感知信息，输入为B
×
C
×
H
×
W的特征图，其中B、C、H和W分别表示其图片批量数、通道数、高度和宽度；代表坐标水平方向的编码通道；是代表坐标竖直方向的编码通道，将特征图在通道上均分为双分支 为C/2
×
H
×
W和 为C/2
×
H
×
W，其中通道分支中使用了LayerNorm正则化函数中样本特征的归一化权重因子α来生成注意力权重，将 首先经过5
×
5的卷积来获取大的感受野，然后将特征调整为H
×
W
×
C/2并输入到LayerNorm中通过逐通道的计算样
本特征内部的均值和标准差，再经过一个 线性映射，把归一化的特征通过可学习的参数α和β映射出到新的特征分布上 ，最后使用注意力权重生函数 计算出每个通道样本的得分，与 相乘得到注意通道注意力权重 ，其中c代表通道分支；空间分支首先经过3
×
3的卷积来获取与通道分支不同感受野的特征信息，再分别经过自适应最大池化和自适应平均池化以分别对空间H和W两个方向进行空间位置信息的编码，使尺寸变为C
×
H
×
1和C
×
W
×
1，得到这两个方向的特征信息 ，其中s代表空间分支；将两个特征信...

【专利技术属性】
技术研发人员：苏占智，周鸣乐，李刚，李敏，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：