基于双向分离注意力的车道线检测与分类方法及系统技术方案

本发明专利技术提供基于双向分离注意力的车道线检测与分类方法及系统，方法包括：构建轻量化车道线检测分类网络LNet，其中，所述轻量化车道线检测分类网络LNet包括：对称单元及密集对称块，利用所述密集对称块密集连接不少于2个的所述对称单元；构建双向分离注意力机制，据以构建长距离像素之间的依赖关系，并获取全局位置信息和局部细节信息。本发明专利技术解决了参数量大以及分割性能较差的技术问题。大以及分割性能较差的技术问题。大以及分割性能较差的技术问题。

【技术实现步骤摘要】
基于双向分离注意力的车道线检测与分类方法及系统


[0001]本专利技术涉及计算机视觉领域，具体涉及基于双向分离注意力的车道线检测与分类方法及系统。

技术介绍

[0002]图像分割是对像素深层特征的多分类问题，它通过为每个像素分配相应属性的类别标签，尝试将图像中符合某些特定语义的像素组合起来，呈现出满足视觉判断的不同类别区域。因此，本专利技术将分割思想应用到车道线检测与分类任务中。采用基于视觉的分割方法可以为自动驾驶车辆的环境感知，提供道路场景中的车道线位置以及类别等信息，这对于自动驾驶汽车行驶过程中的安全性起到非常重要的作用。
[0003]在早期的图像分割任务中，大多选择颜色、梯度以及几何形状等特征对图像进行分割。基于阈值、边缘、聚类、图论以及区域的分割，都是常用的分割算法。近年来，由于较强的特征提取能力以及对语义信息理解能力，CNN被应用到多个图像分割领域中。虽然语义分割网络，如FCN、UNet、SegNet以及Deeplab系列网络等，取得了较好的分割性能，但是网络参数量较大。之后，ENet、ERFNet以及BiseNet系列网络考虑到网络参数较多的问题，通过构建轻量模块实现了分割性能和参数量之间的平衡。但是由于图像中的目标之间是存在关联性的，如果仅仅只是关注单个像素，不关注像素间的依赖关系，会降低网络的分割性能。公布号为CN110688971A的现有专利技术专利文献《一种虚线车道线的检测方法、装置和设备》包括：对待检测的道路图像进行特征提取，得到所述道路图像的特征图；根据所述特征图确定所述道路图像中的车道线区域、以及所述道路图像中的端点像素点；所述端点像素点为所述道路图像中可能为虚线车道线的端点的像素点；基于所述车道线区域和所述端点像素点，确定所述道路图像中的虚线车道线。由该现有技术方案中的细化内容可知，该现有技术采用了FCN作为特征提取网络，通过多次卷积下采样后，得到道路样本图像的高维特征图，然后对该高维特征图conv1进行反卷积上采样，得到图像特征us_conv1。然后将图像特征us_conv1输入到区域预测网络和端点预测网络。可见该现有方案在下采样以及上采样的过程中，并未针对图像失真以及特征精度缺失等问题进一步披露可行方案，无法保证车道线特征提取的精度，同时，该现有技术未充分考虑图像中目标之间的关联关系，降低了网络的分割性能。公布号为CN112287912A的现有专利技术专利文献《基于深度学习的车道线检测方法以及装置》包括：获取待检测的第一图片；将第一图片输入目标神经网络模型，得到目标特征图，其中，目标神经网络模型包括基于多尺度注意力机制生成的神经网络模型以及深度可分离卷积模型，目标特征图用于表示第一图片中每个像素为车道线像素的概率；对目标特征图执行图像后处理，以得到目标检测结果。该现有技术方案的说明书实施例中记载了：对第一特征图分别进行卷积操作，采用不同的卷积核是为了融合不同感受野尺度下车道线元素的信息。输出三个特征图，具体而言，包括两个上述第二类特征图和一个第一类特征图，并计算元素之间的相关性，以确定特征图中每个像素位置对全局推断的重要性，再使用统计学中的方法，从通道的维度来统计每个位置元素的值。可知该现有技术虽然考虑了特征
图中元素之间的相关性，但利用该现有技术披露的统计处理逻辑，仅能排除不属于车道线的连通域并识别常规车道，无法充分融合特征图像中的局部特征及全局特征，在例如车道线被遮挡的特定应用场景下，依然制约了网络模型的图像分割性能，且该现有方案采用的网络模型中的网络参数量较大，提高了运算难度。
[0004]综上，现有技术存在参数量大以及分割性能较差的技术问题。

技术实现思路

[0005]本专利技术所要解决的技术问题在于如何解决现有技术中的参数量大以及分割性能较差的技术问题。
[0006]本专利技术是采用以下技术方案解决上述技术问题的：基于双向分离注意力的车道线检测与分类方法包括：
[0007]S1、构建轻量化车道线检测分类网络LNet，其中，轻量化车道线检测分类网络LNet包括：对称单元及密集对称块，利用密集对称块密集连接不少于2个的对称单元，其中，步骤S1包括：
[0008]S11、以轻量化车道线检测分类网络LNet的编码器下采样处理输入图像，以逐级降低输入图像的分辨率，据以获取小分辨率特征图；
[0009]S12、以解码器上采用处理编码器中的最后一层卷积图像，以恢复小分辨率特征图至输入图像的原始大小，其中，融合处理解码器及编码器的输出特征，以得到融合特征；
[0010]S13、利用加权交叉熵损失函数训练轻量化车道线检测分类网络LNet；
[0011]S2、构建双向分离注意力机制，据以构建长距离像素之间的依赖关系，并获取全局位置信息和局部细节信息，步骤S2包括：
[0012]S21、将双向分离注意力模块TSA添加至轻量化车道线检测分类网络LNet中，据以构建双向注意力轻量车道线检测分类网络TSANet；
[0013]S22、利用双向分离注意力模块TSA分别从横向像素及纵向像素中，集成目标纹理及目标位置信息，将融合特征作为输入特征图，利用双向分离注意力模块TSA处理根据输入特征图，据以得到适用映射关系作为长距离像素之间的依赖关系。
[0014]本专利技术基于语义分割的思想，对编码器
–
解码器模型进行重新设计，以生成参数较少的轻量级网络(LNet)。其次，为了使模型对挑战性环境具有鲁棒性，引入双向分离注意力(TSA)构建长距离像素之间的依赖关系。最后，将TSA融合进LNet中，从而获取更准确的车道线检测和分类结果。本专利技术采用的TSANet在TuSimple等数据集上的提高了车道线检测准确率，并优化了图像分割效果，适合于智能驾驶场景下的实时车道线检测与分类。
[0015]本专利技术提出了一种具有对称结构的对称单元，相比现有技术中采用的LLNet的子单元，对称单元采用卷积核更小的一维卷积，只需要更少的计算量，也减少了参数量。
[0016]在更具体的技术方案中，步骤S1中，将双向分离注意力模块TSA放入编码器中每一个密集连接块后，供双向注意力轻量车道线检测分类网络TSANet提取目标特征和语义信息。
[0017]本专利技术通过采用密集连接的方式，获取更多尺度的信息，从而解决网络中的梯度消失问题，防止过拟合现象的发生。
[0018]在更具体的技术方案中，步骤S11中，轻量化车道线检测分类网络LNet在上采样过
程中融合编码器阶段提取的多尺度特征的输出分辨率，以弥补信息损失。
[0019]本专利技术构造了一种具有对称单元和密集对称块的轻量化的车道线检测和分类网络(LNet)。本专利技术构建双向分离注意力机制(TSA)，以构建长距离像素之间的依赖关系。本专利技术将双向分离注意力模块(TSA)添加到LNet中，构建基于双向注意力的轻量车道线检测和分类网络(TSANet)，增强网络获取目标区域的位置以及长距离像素之间的依赖关系的能力。
[0020]在更具体的技术方案中，步骤S12包括：
[0021]S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双向分离注意力的车道线检测与分类方法，其特征在于，所述方法包括：S1、构建轻量化车道线检测分类网络LNet，其中，所述轻量化车道线检测分类网络LNet包括：对称单元及密集对称块，利用所述密集对称块密集连接不少于2个的所述对称单元，其中，所述步骤S1包括：S11、以所述轻量化车道线检测分类网络LNet的编码器下采样处理输入图像，以逐级降低所述输入图像的分辨率，据以获取小分辨率特征图；S12、以解码器上采用处理所述编码器中的最后一层卷积图像，以恢复所述小分辨率特征图至所述输入图像的原始大小，其中，融合处理所述解码器及所述编码器的输出特征，以得到融合特征；S13、利用加权交叉熵损失函数训练所述轻量化车道线检测分类网络LNet；S2、构建双向分离注意力机制，据以构建长距离像素之间的依赖关系，并获取全局位置信息和局部细节信息，所述步骤S2包括：S21、将双向分离注意力模块TSA添加至所述轻量化车道线检测分类网络LNet中，据以构建双向注意力轻量车道线检测分类网络TSANet；S22、利用所述双向分离注意力模块TSA分别从横向像素及纵向像素中，集成目标纹理及目标位置信息，将所述融合特征作为输入特征图，利用所述双向分离注意力模块TSA处理根据所述输入特征图，据以得到适用映射关系作为所述长距离像素之间的依赖关系。2.根据权利要求1所述的基于双向分离注意力的车道线检测与分类方法，其特征在于，所述步骤S1中，将所述双向分离注意力模块TSA放入编码器中每一个密集连接块后，供所述双向注意力轻量车道线检测分类网络TSANet提取目标特征和语义信息。3.根据权利要求1所述的基于双向分离注意力的车道线检测与分类方法，其特征在于，所述步骤S11中，所述轻量化车道线检测分类网络LNet在上采样过程中融合编码器阶段提取的多尺度特征的输出分辨率，以弥补信息损失。4.根据权利要求1所述的基于双向分离注意力的车道线检测与分类方法，其特征在于，所述步骤S12包括：S121、融合处理第一编码器DS1和第七编码器DS7输出的所述多尺度特征；S122、融合处理第二编码器DS2和第六编码器DS6输出的所述多尺度特征；S123、融合处理第三编码器DS3和第五编码器DS5输出的所述多尺度特征。5.根据权利要求1所述的基于双向分离注意力的车道线检测与分类方法，其特征在于，所述步骤S13中，以下述加权交叉熵损失函数训练所述轻量化车道线检测分类网络LNet：式中，n为像素的数目，yi为第i个像素的id，其中，id表示特征车道线或背景，pi表述第i个像素的类别预测概率。6.根据权利要求5所述的基于双向分离注意力的车道线检测与分类方法，其特征在于，利用正则化参数L2将权重参数约束至适用区域，以降低过拟合概率。7.根据权利要求1所述的基于双向分离注意力的车道线检测与分类方法，其特征在于，所述步骤S22中的所述双向分离注意力模块TSA为独立模块。8.根据权利要求1所述的基于双向分离注意力的车道线检测与分类方法，其特征在于，
所述步骤S2...

【专利技术属性】
技术研发人员：孔斌，张露，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：