基于几何特征提取和位置信息编码的车道线检测方法技术

本发明专利技术公开了一种基于几何特征提取和位置信息编码的车道线检测方法，解决了现有技术中没有考虑车道线几何特征和位置信息从而导致准确率较低以及计算量较大的问题。本发明专利技术实现的步骤包括：搭建初步特征提取子网络；搭建几何特征提取模块；搭建位置信息编码模块；构建非对称双边自注意力网络；生成训练集；训练非对称双边自注意力网络；检测车道线。本发设计的几何特征提取模块和位置信息编码模块能够充分提取并利用车道线的几何特征和位置信息，从而整体上提升车道线检测的性能，同时采用条形卷积核代替方形卷积核以减少计算量，对车道线检测的准确率和时效性有较好的平衡效果。果。果。

【技术实现步骤摘要】
基于几何特征提取和位置信息编码的车道线检测方法


[0001]本专利技术属于图像处理
，更进一步涉及图像分割
中的一种基于几何特征提取和位置信息编码的车道线检测方法。本专利技术可用于通过自动驾驶设备实现机动车在行驶过程中对车道线的检测。

技术介绍

[0002]在车道线检测中，每条车道的确切形状是由安装在车辆上的摄像头捕捉到的二维前视图像获得的。除了获得车道线的方向和形状外，系统还必须能够区分每条车道。也正因为如此，车道线检测往往被视作一种语义分割任务。之前的绝大部工作都采用纯分割的方法，即通过编码器来捕捉其语义特征，再进行解码后处理得到最终结果。车道线检测是一种相对特殊的检测问题，它具有不同于其他检测问题的挑战，如噪声大(多阴影遮挡)，属于正样本的像素占全图的比例低(车道线细长)，形式多样(有不同颜色和形状的车道线)，场景多样(受到天气因素影响)。因此，如果仅将其视作传统的语义分割问题来处理，采用纯分割的方法无法有效地处理一些复杂场景如阴影，强光，夜间等，适用范围小。而且对于车道线，除了最为基本的语义特征以外，还有一个重要的特点就是车道线属于人工物体，这不同的一般的自然物体，其拥有强烈的先验几何特征(车道线一般都是细长的平行四边形结构，如果利用其几何特征将带来更好的检测性能。同时，车道线之间具有位置信息，例如现实世界种车道线之间是平行的。因此如果不考虑位置信息，也会丧失一些检测性能。
[0003]华东交通大学在其申请的专利文献“一种基于深度学习的车道线检测方法”(申请号：2022110592895，申请公布号：CN 115376089 A，申请公布日：2022.11.22)中提出了一种自动驾驶设备实现机动车车道线检测方法。该方法的实现步骤是：(1)对数据集中已有的图片样本进行多尺度图像增强操作，再根据标注的车道线位置信息和图像生成训练样本；(2)根据生成的图像构建适用的卷积神经网络；(3)利用生成的车道线图像进行训练；(4)对该卷积神经网络的性能进行评估；(5)使用训练好的模型进行车道线检测。该方法的优势是结合深度学习方法增强了整体模型的鲁棒性，能够在车道线破损、遮挡、阴影情况下有效检测直道及弯道。但是，该方法仍然存在的不足之处是，把车道线检测当作单纯的像素分割任务，其网络结构完全由普通的二维卷积层和激活层构成，既没有捕捉车道线的几何特征也没有考虑车道线的位置信息，这导致该方法在对面一些车道线语义信息不明显甚至缺失的场景的时候，检测性能较差甚至检测不到车道线。
[0004]广东工业大学在其申请的专利文献“基于深度学习的车道线检测方法、系统、计算机及存储介质”(申请号：2021112642095申请公布号：CN114022863A，申请公布日：2022.02.08)中提出了一种基于自注意力结构的自动驾驶设备实现机动车车道线检测方法。其实现步骤是：(1)通过交通监控摄像枪拍摄带有车道线的视频，并从视频中截取多张带有车道线的图像生成数据集；(2)对生成的数据集进行预处理，并将预处理后的数据集划分为训练集和测试集；(3)构建双分支的车道线检测模型，两个分支分别设特征提取器和图像分割器；(4)通过训练集训练双分支的车道线检测模型；(5)通过训练好的双分支的车道
线检测模型对测试集进行检测。该专利技术引入了注意力机制能够更加有效地提取图像特征尤其是全局信息，全局信息能够反映一些车道线自身的情况，但是，该方法仍然存在的不足之处是，还是没有考虑车道线与车道线之间的位置信息关系，以至于自动驾驶机动车在行驶过程中面对多条车道线排列较紧密的情况时，会将其识别为一条车道线，进而导致车道线检测技术检测效果不佳的问题。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术的不足，提供一种基于几何特征提取和位置信息编码的车道线检测方法，用于解决车道线检测技术检测效果不佳，同时计算量较大以及车道线检测在复杂道路场景中检测准确率较低的问题。
[0006]实现本专利技术目的的技术思路是，本专利技术首先利用ResNet作为编码器进行初步的特征提取，然后分别构建几何特征提取模块和位置信息编码模块，上下并行处理特征图。几何特征提取模块以条状卷积核的形式，在行间和行内由左至右分别进行注意力操作。条状卷积核契合车道线的几何形状还能降低计算复杂度，而行间内注意力的形式能够有效融合局部和全局信息。由于采用条形卷积核代替传统的方形卷积核，减少了参数量和计算量，缓解了现有技术计算量较大的问题。同时条形卷积核相对于方形卷积核往往横跨整个特征图，在某一方向上具有更大的感受野，能够提供更多的上下文信息，有助于捕获长距离依赖，解决了车道线检测在复杂道路场景中检测准确率较低的不足。本专利技术构建的位置信息编码模块时将首先生成相对位置向量，然后将位置向量融入到transformer中，形成带位置信息编码的注意力机制。位置向量编码能有效捕捉车道线自身和车道线之间的潜在的位置关系。通过以上两种方式的并行处理，最终进行特征融合，然后进行双分支解码，分别得到实例分支结果和存在分支结果，再进行解码得到车道线检测结果。挖掘捕捉图像中车道线分布的潜在位置信息，直接对位置向量进行编码。由于多车道线紧密的情况一般仅存在于路面的消失点附近，在靠近车身附近的车道线是相对分散的，是由相机拍摄角度所决定的。本专利技术的位置编码初始是由全局编码矩阵重排列为向量而形成的，也就是说对于同一张图片，相对分散的车道线的位置编码信息也会作用于车道线密集处，而车道线分散处的车道线是便于分类的，这就有助于车道线密集处的车道线分类，克服了现有技术在自动驾驶机动车行驶过程中面对多条车道线排列较紧密的情况时，会将其识别为一条车道线的检测效果不佳的缺陷。
[0007]本专利技术的实现步骤如下：
[0008]步骤1，构建初步特征提取子网络；
[0009]步骤2，构建几何特征提取模块：
[0010]搭建由高级特征输入层，行内自注意力子模块，行间自注意力子模块，几何特征输出层依次串联而成的几何特征提取模块；
[0011]所述的行内自注意力子模块由两条支路组成，第一条支路由输入层，第1维度重排层，线性层，分割层，自注意力层依次串联组成；第二条支路由矩阵加法层，第2维度重排层，输出层依次串联组成；第二条支路中的矩阵加法层跨接在第一条支路的输入层和自注意力层之间；
[0012]所述的行间自注意力子模块由两条支路组成，第1条支路由行间自注意力输入层，
卷积层，第1分割层，堆砌层，第1维度重排层，第2分割层，自注意力层依次串联组成，第2条支路由矩阵加法层，第2维度重排层，行间自注意力输出层依次串联组成，矩阵加法层跨接在第1条支路的行间自注意力和自注意力层之间；将卷积层的卷积核大小设置为1
×
1，步长设置为1，填充设置为0，自注意力层采用标准的自注意力操作；
[0013]步骤3，构建位置信息编码模块：
[0014]搭建由低级特征输入层，向量编码层，自注意力层，位置信息编码输出层依次串联组成的位置信息编码模块；所述向量编码层由相对位置向量编码层与qkv特征生成层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何特征提取和位置信息编码的车道线检测方法，其特征在于，分别构建了几何特征提取模块和位置信息编码模块；该检测方法的步骤包括如下：步骤1，构建初步特征提取子网络；步骤2，构建几何特征提取模块：搭建由高级特征输入层，行内自注意力子模块，行间自注意力子模块，几何特征输出层依次串联而成的几何特征提取模块；所述的行内自注意力子模块由两条支路组成，第一条支路由输入层，第1维度重排层，线性层，分割层，自注意力层依次串联组成；第二条支路由矩阵加法层，第2维度重排层，输出层依次串联组成；第二条支路中的矩阵加法层跨接在第一条支路的输入层和自注意力层之间；所述的行间自注意力子模块由两条支路组成，第1条支路由行间自注意力输入层，卷积层，第1分割层，堆砌层，第1维度重排层，第2分割层，自注意力层依次串联组成，第2条支路由矩阵加法层，第2维度重排层，行间自注意力输出层依次串联组成，矩阵加法层跨接在第1条支路的行间自注意力和自注意力层之间；将卷积层的卷积核大小设置为1
×
1，步长设置为1，填充设置为0，自注意力层采用标准的自注意力操作；步骤3，构建位置信息编码模块：搭建由低级特征输入层，向量编码层，自注意力层，位置信息编码输出层依次串联组成的位置信息编码模块；所述向量编码层由相对位置向量编码层与qkv特征生成层并联组成；位置信息编码模块中的自注意力层将进行多头注意力操作；所述的相对位置向量编码层由相对位置矩阵生成层，展平层，下标选择层，分割层依次串联组成；所述的qkv特征生成层由第1维度重排层，卷积层，归一化层，第2维度重排层，分割层依次串联组成；将卷积层的卷积核大小设置为1
×
1，步长设置为1，填充设置为0；所述自注意力层由2条支路组成，第1条支路中的第1矩阵加法层分别与第1矩阵乘法层，第2矩阵乘法层，第3矩阵乘法层相连；第2条支路中的softmax层分别与第2矩阵加法层，第4矩阵乘法层，第5矩阵乘法层相连，第2矩阵加法层分别与第4矩阵乘法层，第5矩阵乘法层和相连softmax层以及第1条支路的第1矩阵加法层相连；步骤4，构建非对称双边注意力网络：步骤4.1，构建特征融合层；步骤4.2，搭建由实例分支和存在分支并行组成的解码预测子网络；步骤4.3，将几何特征提取模块与位置信息编码模块并联组成模块组；步骤4.4，将初步特征提取子网络，模块组，特征融合层，解码预测子网络级联成非对称双边注意力网络；步骤5，生成训练集：选取至少3000张含有车道线的图像组成样本集，每张图像的分辨率均为1280
×
720，且每张图像中包括0至4条车道线，同时每张图像对应有一张二值分割标签图；对样本集中的每张图像依次进行裁剪，旋转，模糊的预处理；将预处理后的图像组成训练集；步骤6，训练非对称双边注意力网络：步骤6.1，设置训练参数：将momentum率设置为0.9，权重衰减率设置为0.0004，初始学
习率设置为0.02；步骤6.2，权重初始化，将ImageNet预训练的ResNet
‑
34的权重作为非对称双边注意力网络的初始权重，采用SGD优化算法，将训练集按批次输入到非对称双边注意力网络中，利用梯度下降法，对网络参数进行迭代更新，直至网络总损失函数收敛为止，得到训练好的网络并保存权重；步骤7，检测车道线：采用与步骤5相同的方法，将预处理后待检测的含有车道线的图像依次输入训练好的非对称双边注意力网络，输出车道线检测结果。2.根据权利要求1所述的基于几何特征提取和位置信息编码的车道线检测方法，其特征在于，步骤1中所述的初步特征提取子网络是由图像输入层，初步特征提取层，输出层组依次串联；所述输出层组由高级特征输出层与低级特征输出层并联组成。3.根据权利要求1...

【专利技术属性】
技术研发人员：张静，乐垚，郑淙耀，李云松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：