车道线检测方法、系统、电子设备及存储介质技术方案

本发明专利技术提供了一种车道线检测方法、系统、电子设备及存储介质，该方法包括：获取具有车道线的当前道路图像；利用ResNet

【技术实现步骤摘要】
车道线检测方法、系统、电子设备及存储介质


[0001]本专利技术属于图像处理的
，具体地涉及一种车道线检测方法、系统、电子设备及存储介质。

技术介绍

[0002]近年来，自动驾驶在学术界和工业界都受到了广泛的关注。其中最基本和最具有挑战性的任务是在真实场景中进行车道线检测从而辅助驾驶。但是，由于恶劣场景的存在，如遮挡、雾霾、黑暗、强光反射等，准确地进行车道线检测极具挑战性。传统的图像方法是通过边缘检测滤波等方式分割出车道线区域，然后结合霍夫变换、RANSAC等算法进行车道线检测；这类算法需要人工手动去调滤波算子，根据算法所针对的街道场景特点手动调节参数，工作量大且鲁棒性较差，当行车环境出现明显变化时，车道线的检测效果不佳。随着深度学习技术的快速发展，车道线检测的方法已经从使用传感器检测转移到利用深度学习技术在前置摄像头拍出的RGB图像中检测车道线。
[0003]如图1所示，图1中的（a）为输入的原始车道线图像，利用深度学习技术进行车道线检测的方法大致分为基于分割、基于检测、基于点的三种。1、如图1中的（b）所示，基于分割的车道线检测方法最为直接，直接将车道线检测的任务建模为像素级分类的任务，对车道线所在区域的像素进行归类；但图像数据中带注释的车道像素的数量远远少于背景像素，从这样细微而稀疏的注释中学习是具有挑战的；同时对车道所在区域的所有像素进行分类而描述车道线是并不高效的。2、如图中的1（c）所示，基于锚的车道线检测方法是使用一些预定义的锚线，在此基础上回归出车道线的位置，该类方法往往具有最快的检测速度；但是由于预定义锚线形状的限制，这种方法是不灵活的。3、如图1中的（d）所示，基于点的车道线检测方法是利用关键点描述车道线的形状，接着利用关键点聚类的手段以区分出各条车道线，该网络分别输出车道线关键点概率图和关键点到同车道起始点的偏移，利用各关键点及其偏移聚类属于同一车道线的关键点；这种车道线建模的方式具有较大的灵活性和较快的检测速度。然而，基于点的车道线检测方法，目前仍存在以下难题：(1)传统卷积神经网络（CNN）往往难以有效地提取车道线的语义特征，因为车道线的细长结构使得其在特征提取阶段难以与上下文信息建立有效的联系；(2)车道线跨度较大，对于基于卷积的神经网络来说是一个挑战，因为卷积操作只能捕捉有限的局部信息，无法有效捕捉车道线的长距离偏移信息；这导致在车道线检测任务中，模型往往难以捕捉到车道线的全局上下文信息；(3）由于车道线的密集性，传统的车道线检测网络往往需要降低输出特征图的分辨率来实现较大的感受，以便回归长距离偏移量；然而，这会使网络难以区分密集车道线中的关键点，从而导致精度下降。
[0004]因此，如何解决现有技术的基于点的车道线检测方法存在的难题，一直是本领域技术人员亟待解决的课题。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供了一种车道线检测方法、系统、电子设备及存储介质，通过采用卷积和Transformer混合架构用于车道线检测，可以增强模型对于车道线的低层次特征的提取能力，从而提高车道线的上下文特征的表示能力；并且通过注意力机制来建立车道线上下文之间的长程依赖关系，从而更好地捕捉车道线的全局上下文信息，不降低输出特征图分辨率的情况下也能够捕获长程偏移，避免密集车道线处关键点偏移回归错误的问题。
[0006]第一方面，该专利技术提供一种车道线检测方法，包括：获取具有车道线的当前道路图像；利用ResNet
‑
ECA
‑
PSPNet从所述当前道路图像中提取具有上下文信息的车道线图像特征；将所述车道线图像特征分别输入CNN网络和视觉Transformer网络，以获取基于关键点的置信度图及关键点图和偏移图；将所述置信度图及关键点图与所述偏移图进行关键点的关联以区分并构建各条车道线，以使获取所述当前道路图像的车道线检测信息。
[0007]较佳地，所述利用ResNet
‑
ECA
‑
PSPNet从所述当前道路图像中提取具有上下文信息的车道线图像特征的步骤具体包括：采用ResNet网络作为主干网络从所述当前道路图像提取高维特征图；将所述高维特征图通过大小为1
×
1卷积核输入至FPN中进行训练以获取降维特征图；利用ECA
‑
PSPNet对所述降维特征图进行ECA上采样使其与上一级特征图进行融合，得到融合了多尺度信息的具有上下文信息的车道线图像特征。
[0008]较佳地，所述ECA上采样具体包括：将所述降维特征图的张量，对其行向量和列向量进行重新排列，得到重排行向量、重排列向量；采用预设模型一以及预设模型二分别针对所述重排行向量和所述重排列向量进行分组卷积变换处理，得到变换行和变换列；分别针对所述变换行和所述变换列进行行重排和列重排，并将重排后的所述变换行和所述变换列对齐原特征图空间位置，并将对齐后的所述变换行和所述变换列分别与所述重排行向量和重排列向量进行融合，得到融合了行、列信息的所述降维特征图；将融合了行、列信息的所述降维特征图输入至改进的坐标注意力机制以使捕捉多尺度信息的车道线上下文信息，得到融合了多尺度信息的具有上下文信息的车道线图像特征。
[0009]较佳地，所述改进的坐标注意力机制是指将横向及纵向的位置信息编码到通道注意力中以使网络准确关注感兴趣的空间结构信息；所述改进的坐标注意力机制的编码通道关系和长距离关系的过程包括：针对所述降维特征图使用大小为（1,W'）和（H',1）的池化核来编码水平方向和垂直方向特征，得到水平方向第c通道空间特征以及垂直方向第c通道空间特征；将所述水平方向第c通道空间特征以及所述垂直方向第c通道空间特征沿着水平
‑
垂直方向上连接，使用1
×
1大小的卷积核进行卷积、BN和非线性激活进行特征转化，得到第一转化特征；将所述第一转化特征沿着垂直
‑
水平方向上分解为两个独立的分解特征，并采用两个1
×
1大小的卷积核卷积和sigmoid函数作为激活函数分别针对两所述分解特征进行特征转化且保持维度不变；将转换特征后的两所述分解特征通过广播机制生成坐标注意力矩阵，并利用所述注意力矩阵乘以所述降维特征图，以使新生成的特征图准确关注感兴趣的空间结构信息。
[0010]较佳地，所述将所述车道线图像特征分别输入CNN网络和视觉Transformer网络，以获取基于关键点的置信度图及关键点图和偏移图的步骤具体包括：采样每条车道线上的K个关键点作为关键点的置信度标签，并将其置于CNN网络；找取所述K个关键点到对应起始点的偏移作为偏移标签，并将其置于视觉Transformer网络；将所述车道线图像特征分别输入至具有置信度标签的CNN网络和具有偏移标签的视觉Transformer网络进行相应的监督学习，以使同步获得车道线的关键点及所述关键点到对应起始点的偏移；根据所述关键点及所述偏移分别构建置信度图及关键点图和偏移图。
[0011]较佳地，所述置信度图通过CNN网络结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线检测方法，其特征在于，包括：获取具有车道线的当前道路图像；利用ResNet
‑
ECA
‑
PSPNet从所述当前道路图像中提取具有上下文信息的车道线图像特征；将所述车道线图像特征分别输入CNN网络和视觉Transformer网络，以获取基于关键点的置信度图及关键点图和偏移图；将所述置信度图及关键点图与所述偏移图进行关键点的关联以区分并构建各条车道线，以使获取所述当前道路图像的车道线检测信息。2.根据权利要求1所述的车道线检测方法，其特征在于，所述利用ResNet
‑
ECA
‑
PSPNet从所述当前道路图像中提取具有上下文信息的车道线图像特征的步骤具体包括：采用ResNet网络作为主干网络从所述当前道路图像提取高维特征图；将所述高维特征图通过大小为1
×
1卷积核输入至FPN中进行训练以获取降维特征图；利用ECA
‑
PSPNet对所述降维特征图进行ECA上采样使其与上一级特征图进行融合，得到融合了多尺度信息的具有上下文信息的车道线图像特征。3.根据权利要求2所述的车道线检测方法，所述ECA上采样具体包括：将所述降维特征图的张量，对其行向量和列向量进行重新排列，得到重排行向量、重排列向量；采用预设模型一以及预设模型二分别针对所述重排行向量和所述重排列向量进行分组卷积变换处理，得到变换行和变换列；分别针对所述变换行和所述变换列进行行重排和列重排，并将重排后的所述变换行和所述变换列对齐原特征图空间位置，并将对齐后的所述变换行和所述变换列分别与所述重排行向量和重排列向量进行融合，得到融合了行、列信息的所述降维特征图；将融合了行、列信息的所述降维特征图输入至改进的坐标注意力机制以使捕捉多尺度信息的车道线上下文信息，得到融合了多尺度信息的具有上下文信息的车道线图像特征。4.根据权利要求3所述的车道线检测方法，其特征在于，所述改进的坐标注意力机制是指将横向及纵向的位置信息编码到通道注意力中以使网络准确关注感兴趣的空间结构信息；所述改进的坐标注意力机制的编码通道关系和长距离关系的过程包括：针对所述降维特征图使用大小为（1,W'）和（H',1）的池化核来编码水平方向和垂直方向特征，得到水平方向第c通道空间特征以及垂直方向第c通道空间特征；将所述水平方向第c通道空间特征以及所述垂直方向第c通道空间特征沿着水平
‑
垂直方向上连接，使用1
×
1大小的卷积核进行卷积、BN和非线性激活进行特征转化，得到第一转化特征；将所述第一转化特征沿着垂直
‑
水平方向上分解为两个独立的分解特征，并采用两个1
×
1大小的卷积核卷积和sigmoid函数作为...

【专利技术属性】
技术研发人员：唐洪，夏军，邓锋，喻璟怡，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：