一种基于几何注意力感知的车道线检测系统技术方案

本发明专利技术提供一种基于几何注意力感知的车道线检测系统，包括主干网络，设于主干网络之后的语义分割分支和几何距离嵌入分支，作用于解码器相邻两个阶段上采样层之间即设在整个车道线语义分割分支和几何距离嵌入分支之间的注意力信息传播模块，设于语义分割分支和几何距离嵌入分支末端的几何注意力感知模块，以及与主干网络和几何注意力感知模块连接的跳跃金字塔融合上采样模块。本系统采用多任务分支网络结构，除了车道线分割任务以外还增加了几何距离嵌入分支，该分支通过学习车道线中心到边界的连续距离表示去指导车道线分割，从而改善由于高度依赖稀疏车道线标注而无法从复杂道路场景下有效检测车道线的问题。

【技术实现步骤摘要】
一种基于几何注意力感知的车道线检测系统
本专利技术涉及车道线检测
，具体涉及一种基于几何注意力感知的车道线检测系统。
技术介绍
车道线检测是一种从车载传感器捕获的汽车周围环境图像中提取静态车道线特征的技术，只有极少数方法从激光雷达传感器捕获的图像中检测车道线，虽然激光雷达在距离测量上有天然优势，但是其成像原理决定了只能感知标识明显的车道线，而且激光雷达成本非常高。因此在大多数工作中使用成本低廉的摄像机，由于其成像原理和人类视觉系统相似，它捕获的图像更适合人类理解，方便人工对图像进行标注，包括一些复杂的交通环境，例如，车道线被遮挡等，这对于有监督的语义分割任务来说至关重要。在高等级的自动驾驶系统中，由于系统是汽车控制的主要执行者，车道线检测结果直接影响了车辆控制、其他交通参与者状态判断、障碍物距离测量和高精度地图构建及更新等任务，因此车道线检测成为自动驾驶
研究的热点。早期的车道线检测方法，利用传统图像处理技术从简单道路场景中提取车道线特征，但是它们高度依赖假设和约束条件，使其只能检测道路中外观和颜色明显的车道线。随着卷积神经网络(ConvolutionalNeuralNetworks，CNN)在计算机视觉领域的发展，CNN能够从大规模车道线数据集中学习到丰富的车道线特征，提高了车道线在各场景下的识别准确率，使自动驾驶技术落地成为可能。目前，大多数车道线检测算法被定义为语义分割问题，它们将车道线标注作为完全卷积神经网络的监督信号，为给定图像中的每个像素分配车道线或背景类别。其中，Kim等人提出了基于顺序迁移学习的端到端车道线检测网络，使用全卷积层代替全连接层，将点检测问题重新定义为区域分割问题。该方法首先使用ImageNet数据集训练SegNet的编码器部分对自然图像进行分类，然后使用道路场景数据集训练网络进行道路场景分割，最后使用车道线数据集训练的网络检测车道线，但该方法仅检测当前车道两边的车道线，这不利于系统控制车辆进行变道。为了检测同向道路中的多条车道线，SCNN算法被提出用于检测当前车道左右两边共四条车道线，因为这与绝大多数实际驾驶场景更符合。SCNN算法将编码器顶层的输出特征图切片，从四个方向进行逐层卷积，上一层特征图卷积的结果会融合下一层特征图，然后对融合后的新特征图进行卷积，这种类似残差网络的结构设计，有利于车道线特征的融合以及防止反向传播过程中出现梯度消失现象。该算法使空间像素之间从不同方向相互传递信息，能够较好的分割具有强空间关系但是外观特征不明显的大型物体和长条状目标，增强了在复杂道路场景下的车道线检测能力，但是提出的SCNN模块增加了网络的推理时间。相对于SCNN算法而言，SAD算法更加关注车道线检测性能与算法复杂度之间的平衡，它从ENet的编码器中自上而下的蒸馏出车道线注意力特征图，并使用该编码器后一阶段中包含更为抽象的车道线特征作为软目标，指导前一阶段编码器学习丰富的车道线特征表示，以此在不增加网络推理时间的同时增强算法检测车道线的能力。虽然该算法允许从自身特征图中学习并获得实质性的改进，而无需任何额外的数据标注，但它严重依赖稀疏的车道线标注，在复杂道路场景下检测车道线仍具有挑战。为了弥补由于稀疏车道线标注而无法有效检测车道线，Zhang等人提出了一种多任务学习网络去分割车道区域的同时检测车道线，并使用具有几何先验的损失函数监督网络训练。该网络具有两个分支，两个分支分别分割车道区域和车道线，通过链路编码器连接使分支之间信息互补，两个分支除了用于监督分割任务的交叉熵损失函数以外，还设计了基于车道区域总是存在于车道线内，车道线总是车道区域外轮廓的几何先验知识的损失函数。虽然该方法对复杂道路场景下的车道线检测具有较强的鲁棒性和准确性，但是它利用车道区域与车道线之间的几何先验知识的同时，需要对车道区域进行额外的标注。随着自动驾驶系统逐步商业化进程，车辆的实际驾驶环境也逐渐复杂，例如，拥堵的其他车辆会遮挡车道线、路面磨损造成车道线模糊、强光会导致车道线不清晰、道路两旁的建筑物或树木产生的阴影会遮盖车道线，因此基于语义分割的车道线检测方法，由于高度依赖稀疏的车道线标注，它们不能很好的根据上下文推理出被环境干扰的车道线，所以面对日益复杂的道路交通环境仍然存在挑战。针对上述方法存在的一些问题，因此设计一种能够在复杂的实际驾驶道路场景下准确检测车道线的方法显得尤为重要。
技术实现思路
针对现有技术存在的技术问题，本专利技术提供一种基于几何注意力感知的车道线检测系统，该系统采用多任务分支网络结构，除了车道线分割任务以外还增加了几何距离嵌入分支，该分支通过学习车道线中心到边界的连续距离表示去指导车道线分割，从而改善由于高度依赖稀疏车道线标注而无法从复杂道路场景下有效检测车道线的问题。为了解决上述技术问题，本专利技术采用了如下的技术方案：一种基于几何注意力感知的车道线检测系统，包括主干网络、语义分割分支、几何距离嵌入分支、注意力信息传播模块、几何注意力感知模块和跳跃金字塔融合上采样模块；其中，所述主干网络用于将输入RGB图像的彩色空间映射为高维特征空间；所述语义分割分支用于从主干网络共享的高维特征中重建车道线语义标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大；所述几何距离嵌入分支用于从主干网络共享的高维特征中重建几何距离嵌入标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大，该分支使用几何距离变换掩膜作为监督信号，以学习车道线的中心线到车道线边界距离的连续表示；所述注意力信息传播模块作用于解码器相邻两个阶段上采样层之间，通过在通道上施加选择权重，以动态方式从语义分割分支和几何距离嵌入分支输出特征图的通道上自适应地选择重要的互补信息进行传播，并采用类似残差网络的结构进行分支间信息融合；所述几何注意力感知模块设于语义分割分支和几何距离嵌入分支的末端，用于将几何距离嵌入分支的输出特征转化为一个注意力矩阵，该矩阵从空间维度上捕获了像素之间长距离的上下文信息，使用这些包含了距离的上下文信息指导车道线语义分割；所述跳跃金字塔融合上采样模块与主干网络和几何注意力感知模块连接，用于通过跳跃连接将主干网络各层级编码器中不同的车道线抽象特征，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，获得车道线概率图。进一步，所述主干网络采用常用的残差网络ResNet，所述残差网络ResNet的前三个阶段使用步长为2的卷积层，后两个阶段使用步长为1的空洞卷积。进一步，所述几何距离嵌入分支中几何距离变换掩膜的制作包括：拟合单元，用于对数据集中标注的采样车道线像素拟合成线宽为1的车道线；计算单元，用于计算拟合单元中图像的距离变换，距离变换输出表示了每个像素到附近车道线最小欧式距离，图像中的像素值以车道线为中心向外连续增大；设置单元，用于设置截断阈值τ来限制距离变换区域的范围，截断阈值τ的值取决于语义分割掩膜中每条车道的宽度；翻转单元，用于对截断的距离掩膜进行翻转，使编码的几何距离表示为从车道线中心到外界连续递减本文档来自技高网...

【技术保护点】
1.一种基于几何注意力感知的车道线检测系统，其特征在于，包括主干网络、语义分割分支、几何距离嵌入分支、注意力信息传播模块、几何注意力感知模块和跳跃金字塔融合上采样模块；其中，/n所述主干网络用于将输入RGB图像的彩色空间映射为高维特征空间；/n所述语义分割分支用于从主干网络共享的高维特征中重建车道线语义标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大；/n所述几何距离嵌入分支用于从主干网络共享的高维特征中重建几何距离嵌入标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大，该分支使用几何距离变换掩膜作为监督信号，以学习车道线的中心线到车道线边界距离的连续表示；/n所述注意力信息传播模块作用于解码器相邻两个阶段上采样层之间，通过在通道上施加选择权重，以动态方式从语义分割分支和几何距离嵌入分支输出特征图的通道上自适应地选择重要的互补信息进行传播，并采用类似残差网络的结构进行分支间信息融合；/n所述几何注意力感知模块设于语义分割分支和几何距离嵌入分支的末端，用于将几何距离嵌入分支的输出特征转化为一个注意力矩阵，该矩阵从空间维度上捕获了像素之间长距离的上下文信息，使用这些包含了距离的上下文信息指导车道线语义分割；/n所述跳跃金字塔融合上采样模块与主干网络和几何注意力感知模块连接，用于通过跳跃连接将主干网络各层级编码器中不同的车道线抽象特征，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，获得车道线概率图。/n...

【技术特征摘要】
1.一种基于几何注意力感知的车道线检测系统，其特征在于，包括主干网络、语义分割分支、几何距离嵌入分支、注意力信息传播模块、几何注意力感知模块和跳跃金字塔融合上采样模块；其中，
所述主干网络用于将输入RGB图像的彩色空间映射为高维特征空间；
所述语义分割分支用于从主干网络共享的高维特征中重建车道线语义标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大；
所述几何距离嵌入分支用于从主干网络共享的高维特征中重建几何距离嵌入标签，对主干网络的输出特征图进行细化并对特征图分辨率进行放大，该分支使用几何距离变换掩膜作为监督信号，以学习车道线的中心线到车道线边界距离的连续表示；
所述注意力信息传播模块作用于解码器相邻两个阶段上采样层之间，通过在通道上施加选择权重，以动态方式从语义分割分支和几何距离嵌入分支输出特征图的通道上自适应地选择重要的互补信息进行传播，并采用类似残差网络的结构进行分支间信息融合；
所述几何注意力感知模块设于语义分割分支和几何距离嵌入分支的末端，用于将几何距离嵌入分支的输出特征转化为一个注意力矩阵，该矩阵从空间维度上捕获了像素之间长距离的上下文信息，使用这些包含了距离的上下文信息指导车道线语义分割；
所述跳跃金字塔融合上采样模块与主干网络和几何注意力感知模块连接，用于通过跳跃连接将主干网络各层级编码器中不同的车道线抽象特征，与逐步上采样过程中恢复分辨率的网络输出特征进行融合，获得车道线概率图。


2.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述主干网络采用常用的残差网络ResNet，所述残差网络ResNet的前三个阶段使用步长为2的卷积层，后两个阶段使用步长为1的空洞卷积。


3.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，所述几何距离嵌入分支中几何距离变换掩膜的制作包括：拟合单元，用于对数据集中标注的采样车道线像素拟合成线宽为1的车道线；计算单元，用于计算拟合单元中图像的距离变换，距离变换输出表示了每个像素到附近车道线最小欧式距离，图像中的像素值以车道线为中心向外连续增大；设置单元，用于设置截断阈值τ来限制距离变换区域的范围，截断阈值τ的值取决于语义分割掩膜中每条车道的宽度；翻转单元，用于对截断的距离掩膜进行翻转，使编码的几何距离表示为从车道线中心到外界连续递减到0，几何距离变换掩膜dmask用以下公式表示：
dmask＝(τ-min(min(dp),τ))
其中，min(dp)表示图像中任意像素p到附近车道线中心线的最小欧式距离，τ为截断阈值，即车道线中心到边界的最大欧式距离，同样也表示距离掩膜中车道线区域的范围。


4.根据权利要求1所述的基于几何注意力感知的车道线检测系统，其特征在于，通过所述注意力信息传播模块传播的注意力信息定义为以下公式：






其中，α1和α2是语义分割分支中第一阶段输出特征图S1的通道注意力加权参数，β1和β2是几何距离嵌入分支中第一阶段输出特征图D1的通道注意力加权参数，和是注意力信息，该注意力信息是先将两个分支的输入特征进行通道注意力选择，即对输入特征使用全局平均池化得到包含全局上下文信息的特征向量，然后再经过1×1卷积层和激活函数的映射，之后与输入特征相乘，再后将进行通道注意力选择之后的两个分支特征进行融合，最后用本分支的输入特征和融合...

【专利技术属性】
技术研发人员：龙建武，彭浪，鄢泽然，陈鸿发，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆;50