基于特征引导注意力的车道线检测方法、装置及设备制造方法及图纸

本发明专利技术涉及车道线检测技术领域，尤其是指一种基于特征引导注意力的车道线检测方法、设备及存储介质。本发明专利技术所述车道线检测方法包括：使用特征残差神经网络作为车道线检测模型的骨干网络，对包含车道线的图片进行车道线特征提取，输出多尺寸的特征图；使用均衡特征金字塔网络作为车道线检测模型的跨尺度特征融合模块，对所述特征残差神经网络生成的每一个尺寸的特征，通过上下采样操作生成金字塔对应的多个尺寸，再将相同尺寸的特征图融合；使用ROI Gather作为车道线检测模型的检测模块，迭代更新预设定的车道线，输出最终检测出的车道线。本发明专利技术所述方法通过集中分析重点区域，在保证精度的同时提高了检测速度。保证精度的同时提高了检测速度。保证精度的同时提高了检测速度。

【技术实现步骤摘要】
基于特征引导注意力的车道线检测方法、装置及设备


[0001]本专利技术涉及车道线检测
，尤其是指一种基于特征引导注意力的车道线检测方法、装置、设备及可读存储介质。

技术介绍

[0002]车道线作为约束车辆在道路上行驶的重要线索，其在现代汽车先进驾驶辅助系统和自动驾驶系统中发挥着至关重要的作用。帮助智能车辆更好的定位和更安全的驾驶，是车道线检测系统的目标。
[0003]在实际的车道线检测中，由于存在许多恶劣的场景，如恶劣的天气、昏暗或耀眼的光、车道线被其他车辆遮挡等，虽然人类能够容易地推断车道线位置并根据上下环境填充被遮挡的部分，但对于车道线检测任务来说，如果没有高级语义和全局上下文信息则很难区分车道线和周围环境。现有技术提出了一种消息传递机制来收集全局上下文信息，但该方法执行逐像素预测，难以满足实时性的要求。
[0004]并且，现有的基于线锚的车道线检测任务没有重复利用局部特征和全局特征，容易造成漏检和误检。对车道线的局部几何形状进行建模并集成到全局特征中，容易将地标误认为是车道线造成误检。构建具有全局特征的全连接层来检测车道，则容易造成预测车道的不准确定位。

技术实现思路

[0005]为此，本专利技术所要解决的技术问题在于克服现有技术中车道线检测方法在恶劣场景中检测不准确，且难以满足实时性的问题。
[0006]为解决上述技术问题，本专利技术提供了一种基于特征引导注意力的车道线检测方法，具体步骤包括：
[0007]使用特征残差神经网络作为车道线检测模型的骨干网络，对包含车道线的图片进行车道线特征提取，输出多尺寸的特征图；
[0008]其中，所述特征残差神经网络包括基本残差块和特征引导注意力组成的基本块；所述特征引导注意力组成的基本块采用跳跃连接，包括多个卷积块、批量归一化层、整流线性单元激活函数层和特征引导注意力；所述特征引导注意力基于卷积注意力模块构建，将输入特征图经过卷积注意力模块处理，输出空间细化图，将输入特征图和空间细化图经由通道混洗操作得到最终输出的细化特征图；
[0009]使用均衡特征金字塔网络作为车道线检测模型的跨尺度特征融合模块，对所述特征残差神经网络生成的每一个尺寸的特征，通过上下采样操作生成金字塔对应的多个尺寸，再将相同尺寸的特征图融合；
[0010]使用ROIGather作为车道线检测模型的检测模块，将所述均衡特征金字塔网络融合后的多尺寸特征图输入至ROIGather检测模块，迭代更新预设定的车道线，输出最终检测出的车道线。
[0011]在本专利技术的一个实施例中，所述使用特征残差神经网络作为车道线检测模型的骨干网络对包含车道线的图片进行车道线特征提取，输出多尺寸的特征图包括：
[0012]将待检测的车道线图像依次输入卷积层、批量归一化层、整流线性单元激活函数、卷积层和批量归一化层，将输出作为特征引导注意力的输入特征图像；
[0013]所述特征引导注意力将所述输入特征图经过卷积注意力模块处理，输出空间细化图，将输入特征图和空间细化图经由通道混洗操作得到最终输出的细化特征图；
[0014]采用跳跃连接将所述待检测的车道线图像与所述特征引导注意力输出的细化特征图混洗，再经过整流线性单元激活函数输出多尺寸的特征图。
[0015]在本专利技术的一个实施例中，所述以空间细化图作为引导，与输入特征图经由通道混洗操作具体为，将空间细化图和输入特征图的每个通道经由混洗操作以交替方式重新布置，得到最终输出的细化特征图，公式为：
[0016]F
out
＝σ(GC7×7(CS([F
in
,F
s
])))
[0017]其中，F
out
为最终输出的细化特征图，σ表示sigmoid操作，CS(
·
)表示通道混洗操作，GC7×7·
表示具有7
×
7内核大小的组卷积层，F
in
为输入特征图，F
s
为空间细化图。
[0018]在本专利技术的一个实施例中，所述空间细化图F
s
由通道细化图F
c
应用2D空间注意力得来，具体公式为：
[0019][0020]其中F
SRM
为空间注意力映射；
[0021]所述通道细化图通过应用1D通道注意力从输入特征图F
in
中找到重要通道得来，具体公式为：
[0022][0023]其中F
CRM
为通道注意力映射；
[0024]所述通道注意力映射F
CRM
具体公式为：
[0025][0026]所述空间注意力映射F
SRM
具体公式为：
[0027][0028]其中MLP为多层感知器，隐藏层数量为R
C/r
×1×1，C为特征图中的通道数，r为缩减比，W1和W0为多层感知器的权重，为跨通道维度的全局平均池化操作的特征，为跨通道维度的全局最大池化操作的特征，为跨空间维度的全局平均池化操作的特征，为跨空间维度的全局最大池化操作处理的特征。
[0029]在本专利技术的一个实施例中，所述均衡特征金字塔网络作为跨尺度特征融合模块，对所述特征残差神经网络生成的每一个尺寸的特征，通过上下采样操作生成金字塔对应的多个尺寸，使用空洞卷积进行上采样操作，使用卷积核和步幅进行下采样。
[0030]在本专利技术的一个实施例中，所述将所述均衡特征金字塔网络融合后的多尺寸特征图输入至ROIGather检测模块，迭代更新预设定的车道线，输出最终检测出的车道线的具体方法包括：
[0031]将预设定的车道线分配给所述均衡特征金字塔网络输出的最小尺寸特征图后，其中每条预设定的车道线有N个点；从所述预设定的车道线中统一采样N
p
个点，使用双线性插值来计算输入特征的确切值，超出图片范围的特征进行补零，获得每条预设定车道线的ROI特征C为特征图中的通道数；
[0032]对所述每条预设定车道线的ROI特征执行9
×
9的一维卷积，收集每个通道像素的附近特征；
[0033]使用全连通算法进一步提取得到预设定车道线的特征X
′
p
∈R
C
×1；
[0034]调整全局特征图X
f
∈R
C
×
H
×
W
的大小，使之与所述均衡特征金字塔网络输出的最小尺寸特征图尺寸相同，并展平为X
′
f
∈R
C
×
HW
；
[0035]建立所述进一步提取得到的预设定车道线的特征X
′
p
和全局特征图X
′
f
的关系，得到预设定车道线的特征与全局特征图之间的注意力矩阵W；
[0036]通过所述注意力矩阵W计算得到聚合特征G，将聚合特征G与预设定车道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征引导注意力的车道线检测方法，其特征在于，具体步骤包括：使用特征残差神经网络作为车道线检测模型的骨干网络，对包含车道线的图片进行车道线特征提取，输出多尺寸的特征图；其中，所述特征残差神经网络包括基本残差块和特征引导注意力组成的基本块；所述特征引导注意力组成的基本块采用跳跃连接，包括多个卷积块、批量归一化层、整流线性单元激活函数层和特征引导注意力；所述特征引导注意力基于卷积注意力模块构建，将输入特征图经过卷积注意力模块处理，输出空间细化图，将输入特征图和空间细化图经由通道混洗操作得到最终输出的细化特征图；使用均衡特征金字塔网络作为车道线检测模型的跨尺度特征融合模块，对所述特征残差神经网络生成的每一个尺寸的特征，通过上下采样操作生成金字塔对应的多个尺寸，再将相同尺寸的特征图融合；使用ROIGather作为车道线检测模型的检测模块，将所述均衡特征金字塔网络融合后的多尺寸特征图输入至ROIGather检测模块，迭代更新预设定的车道线，输出最终检测出的车道线。2.根据权利要求1所述的一种基于特征引导注意力的车道线检测方法，其特征在于，所述使用特征残差神经网络作为车道线检测模型的骨干网络对包含车道线的图片进行车道线特征提取，输出多尺寸的特征图包括：将待检测的车道线图像依次输入卷积层、批量归一化层、整流线性单元激活函数、卷积层和批量归一化层，将输出作为特征引导注意力的输入特征图像；所述特征引导注意力将所述输入特征图经过卷积注意力模块处理，输出空间细化图，将输入特征图和空间细化图经由通道混洗操作得到最终输出的细化特征图；采用跳跃连接将所述待检测的车道线图像与所述特征引导注意力输出的细化特征图混洗，再经过整流线性单元激活函数输出多尺寸的特征图。3.根据权利要求2所述的一种基于特征引导注意力的车道线检测方法，其特征在于，所述以空间细化图作为引导，与输入特征图经由通道混洗操作具体为，将空间细化图和输入特征图的每个通道经由混洗操作以交替方式重新布置，得到最终输出的细化特征图，公式为：F
out
＝σ(GC7×7(CS([F
in
,F
s
])))其中，F
out
为最终输出的细化特征图，σ表示sigmoid操作，CS(
·
)表示通道混洗操作，GC7×7(
·
)表示具有7
×
7内核大小的组卷积层，F
in
为输入特征图，F
s
为空间细化图。4.根据权利要求3所述的一种基于特征引导注意力的车道线检测方法，其特征在于，所述空间细化图F
s
由通道细化图F
c
应用2D空间注意力得来，具体公式为：其中F
SRM
为空间注意力映射；所述通道细化图通过应用1D通道注意力从输入特征图F
in
中找到重要通道得来，具体公式为：其中F
CRM
为通道注意力映射；
所述通道注意力映射F
CRM
具体公式为：所述空间注意力映射F
SRM
具体公式为：其中MLP为多层感知器，隐藏层数量为R
C/r
×1×1，C为特征图中的通道数，r为缩减比，W1和W0为多层感知器的权重，为跨通道维度的全局平均池化操作的特征，为跨通道维度的全局最大池化操作的特征，为跨空间维度的全局平均池化操作的特征，为跨空间维度的全局最大池化操作处理的特征。5.根据权利要求1所述的一种基于特征引导注意力的车道线检测方法，其特征在于，所述均衡特征金字塔网络作为跨尺度特征融合模块，对所述特征残差神经网络生成的每一个尺寸的特征，通过上下采样操作生成金字塔对应的多个尺寸，使用空洞卷积进行上采样...

【专利技术属性】
技术研发人员：刘登峰，郭文静，陈世海，郭虓赫，朱烁，王然，柴志雷，吴秦，陈璟，周浩杰，王宁，
申请(专利权)人：江南大学，
类型：发明
国别省市：