一种基于Zigzag变换的车道线检测方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于Zigzag变换的车道线检测方法、系统、设备及介质，属于智能交通技术领域。本发明专利技术将具有特殊的长、细，且按斜方向分布的车道线结构，通过zigzag变换的方式将原本远离的车道线区域聚合，从而将车道线检测需要解决的非局部问题转换为可以学习的局部增强问题。本发明专利技术相比于部分经典的注意力模块获得了更好的效果，同时依然能保持模型的轻量性，真正实现了车道线检测的高实时性和高准确率的需求。此外，通过zigzag变换的方式将原本远离的车道线区域聚合后，使用简单、轻量的卷积和全连接等操作，实现车道线结构的局部、全局增强，并且可以利用“车道线总是同时对称出现”的先验知识，进一步提升检测的精度。进一步提升检测的精度。进一步提升检测的精度。

【技术实现步骤摘要】
一种基于Zigzag变换的车道线检测方法、系统、设备及介质


[0001]本专利技术属于智能交通
，更具体地，涉及一种基于Zigzag变换的车道线检测方法、系统、设备及介质。

技术介绍

[0002]随着科学技术的进步和人们生活水平的不断提高，现存汽车的数量也随之增大。然而，这也使得世界各地的拥堵状况和交通事故等现象变得越来越严重。而自动驾驶系统可以帮助提高通行的效率，并且降低由于驾驶员等其他人为因素引起的交通事故的概率，引起了人们广泛的关注。车道线检测就是自动驾驶系统中关键技术之一，它被整合应用于自动驾驶车辆中的环境感知模块，用于向车辆提供车辆周围的环境信息，包括车道线的类型、车道线的精确边沿位置以及车辆的可行驶区域等。
[0003]车道线检测目前已经有很多方法实现，可以分为基于传统图像处理的方法以及基于深度学习的方法。基于传统图像处理的方法主要是对图像进行滤波降噪后，使用边沿检测算子对车道边沿特征进行提取，最后进行车道线结构拟合。传统方法虽然理论简单，然而鲁棒性较差，无法很好地应对不同天气、不同时间段下画面差异大的复杂场景，并且实时性差。而基于深度学习的方法可以利用深度神经网络对图像的各种层次的语义特征进行充分提取，因此鲁棒性较好，且可以利用图形处理器（GPU）强大的处理能力实现更快的检测。
[0004]近年来，注意力机制的有效性在各种任务中得到了验证，研究人员也尝试将其应用到车道线检测这一挑战性的视觉任务中。基于注意力机制的方法可以分为基于卷积神经网络（CNN）架构的方法和基于自注意力（Self Attention）操作的方法。基于CNN架构的方法普遍更轻量，更适合于实时车道检测，然而它的卷积注定了它只能关心局部的特征而不能很好的感知长而细的车道线结构；而基于Self Attention的方法可以实现远距离关系建模从而更好的对长而细的车道线进行检测，但由于SelfAttention运算的速度较慢，它并不适合于实际的车道线检测场景。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了一种基于Zigzag变换的车道线检测方法、系统、设备及介质，目的是在轻量级的CNN架构上实现车道线的结构感知，从而实现在获得可以和基于Self Attention的方法接近的精度的同时依然保持高实时性，以更好地服务于自动驾驶技术的落地。
[0006]为实现上述目的，按照本专利技术的第一方面，提供了一种基于Zigzag变换的车道线检测方法，包括：S1、对输入特征图进行降维；S2、将降维特征图按照水平方向分为左右两部分，对左半部分直接进行Zigzag变换，对右半部分进行水平翻转后再进行Zigzag变换，分别获得左右车道的一维嵌入表示向量；
S3、分别对左右车道的一维嵌入表示向量进行特征增强；S4、对增强结果进行Zigzag反变换得到左右车道的注意力权重图，再对右车道的注意力权重图进行水平翻转，并与左车道的注意力权重图在水平方向上拼接获得最终的注意力权重图；S5、将所述输入特征图和最终的注意力权重图的广播点乘结果与所述输入特征图进行融合，将融合结果作为输入特征图并执行S1，直至输出最终特征图；S6、对所述最终特征图进行后处理得到车道线检测结果。
[0007]进一步地，所述S3包括：采用两个独立的并行一维卷积分别对左右车道的一维嵌入表示向量进行处理，实现特征增强；或者，使用自注意力机制或全连接层对左右车道的一维嵌入表示向量分别进行处理，实现特征增强；或者，利用车道线对称出现的先验知识指导左右车道的一维嵌入表示向量互相学习，实现特征增强。
[0008]进一步地，所述S3包括：S31、采用两个独立的并行一维卷积分别对左右车道的一维嵌入表示向量进行处理；S32、使用自注意力机制或全连接层对S31获得的结果分别进行处理；S33、利用车道线对称出现的先验知识指导S32获得的结果互相学习，实现特征增强。
[0009]进一步地，所述S33中，互相学习通过如下方式实现：对S32获得的两个嵌入表示向量进行交叉注意力运算，其中一个嵌入表示向量作为查询向量，另一个嵌入表示向量作为键和值；或者，使用双线性函数模型对S32获得的两个嵌入表示向量进行学习；或者，将S32获得的两个嵌入表示向量进行拼接，再进行归一化，并在归一化之后使用ReLU函数进行激活，最后使用二维卷积进行学习。
[0010]进一步地，所述S1中，降维通过如下方式实现：在通道方向上对输入特征图分别进行全局平均和最大池化操作，再将获得的结果在通道方向上堆叠；或者，使用1
×
1的卷积将输出通道数设置为2。
[0011]进一步地，所述S2中，Zigzag变换通过如下方式实现：在CPU/GPU上使用LUT查表方式直接将输入特征图上的每个像素映射到对应的zigzag变换结果位置；或者，使用传统的遍历扫描的方式获取zigzag变换结果。
[0012]进一步地，所述S4中，Zigzag反变换通过如下方式实现：根据预定义的恢复形状，在CPU/GPU上使用LUT查表方式直接将输入特征图上的每个像素映射到对应的zigzag反变换结果位置；或者，根据预定义的恢复形状，使用传统的遍历扫描的方式获取zigzag反变换结果。
[0013]按照本专利技术的第二方面，提供了一种基于Zigzag变换的车道线检测系统，包括：降维模块，用于对输入特征图进行降维；转换模块，用于将降维特征图按照水平方向分为左右两部分，对左半部分直接进行Zigzag变换，对右半部分进行水平翻转后再进行Zigzag变换，分别获得左右车道的一维嵌入表示向量；特征增强模块，用于分别对左右车道的一维嵌入表示向量进行特征增强；恢复模块，用于对增强结果进行Zigzag反变换得到左右车道的注意力权重图，再对右车道的注意力权重图进行水平翻转，并与左车道的注意力权重图在水平方向上拼接获得最终的注意力权重图；融合模块，用于将所述输入特征图和最终的注意力权重图的广播点乘结果与所述输入特征图进行融合，将融合结果作为输入特征图并执行所述降维模块的操作，直至输出最终特征图；后处理模块，用于对所述最终特征图进行后处理得到车道线检测结果。
[0014]按照本专利技术的第三方面，提供了一种电子设备，包括：处理器；存储器，其存储有计算机可执行程序，所述程序在被所述处理器执行时，使得所述处理器执行如第一方面所述的基于Zigzag变换的车道线检测方法。
[0015]按照本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的基于Zigzag变换的车道线检测方法。
[0016]总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：（1）本专利技术通过设计一种基于Zigzag变换的车道线检测方法，将具有特殊的长、细，且按斜方向分布的车道线结构，通过zigzag变换的方式将这些原本远离的车道线区域聚合，从而将车道线检测需要解决的非局部问题转换为可以学习的局部增强问题。本专利技术的方法相比于部分经典的注意力模块获得了更好的效果，同时依然本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Zigzag变换的车道线检测方法，其特征在于，包括以下步骤：S1、对输入特征图进行降维；S2、将降维特征图按照水平方向分为左右两部分，对左半部分直接进行Zigzag变换，对右半部分进行水平翻转后再进行Zigzag变换，分别获得左右车道的一维嵌入表示向量；S3、分别对左右车道的一维嵌入表示向量进行特征增强；S4、对增强结果进行Zigzag反变换得到左右车道的注意力权重图，再对右车道的注意力权重图进行水平翻转，并与左车道的注意力权重图在水平方向上拼接获得最终的注意力权重图；S5、将所述输入特征图和最终的注意力权重图的广播点乘结果与所述输入特征图进行融合，将融合结果作为输入特征图并执行S1，直至输出最终特征图；S6、对所述最终特征图进行后处理得到车道线检测结果。2.根据权利要求1所述的基于Zigzag变换的车道线检测方法，其特征在于，所述S3包括：采用两个独立的并行一维卷积分别对左右车道的一维嵌入表示向量进行处理，实现特征增强；或者，使用自注意力机制或全连接层对左右车道的一维嵌入表示向量分别进行处理，实现特征增强；或者，利用车道线对称出现的先验知识指导左右车道的一维嵌入表示向量互相学习，实现特征增强。3.根据权利要求1所述的基于Zigzag变换的车道线检测方法，其特征在于，所述S3包括：S31、采用两个独立的并行一维卷积分别对左右车道的一维嵌入表示向量进行处理；S32、再使用自注意力机制或全连接层对S31获得的结果分别进行处理；S33、利用车道线对称出现的先验知识指导S32获得的结果互相学习，实现特征增强。4.根据权利要求3所述的基于Zigzag变换的车道线检测方法，其特征在于，所述S33中，互相学习通过如下方式实现：对S32获得的两个嵌入表示向量进行交叉注意力运算，其中一个嵌入表示向量作为查询向量，另一个嵌入表示向量作为键和值；或者，使用双线性函数模型对S32获得的两个嵌入表示向量进行学习；或者，将S32获得的两个嵌入表示向量进行拼接，再进行归一化，并在归一化之后使用ReLU函数进行激活，最后使用二维卷积进行学习。5.根据权利要求1至4任一项所述的基于Zigzag变换的车道线检测方法，其特征在于，所述S1中，降维通过如下方式实现：在通道方向上对输入特征图分别进行全局平均和最...

【专利技术属性】
技术研发人员：程起敏，凌嘉骏，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：