一种使用自注意力机制和可变卷积的车道线检测方法技术

本发明专利技术公开了一种使用自注意力机制和可变卷积进行特征提取优化的车道检测方法，包括1、主干流程初步提取图像特征；2、特征融合计算；3、可变卷积计算阶段；4、车道线位置预测阶段；5、图像分割特征提取阶段。该方法ResNet卷积网络、全连接层计算、图像网格化建模方法对原始图像进行车道线检测识别。本发明专利技术通过对自注意力机制、可变卷积方法、多尺度特征融合的结合使用，强化网络对全局信息的提取能力；取消损失计算时先验信息从而减小模型过拟合带来的复杂场景下的误检。来的复杂场景下的误检。来的复杂场景下的误检。

【技术实现步骤摘要】
一种使用自注意力机制和可变卷积的车道线检测方法


[0001]本专利技术属于图像处理
，涉及图像车道线检测方法，具体是一种使用自注意力机制和可变卷积的车道检测方法。

技术介绍

[0002]车道线检测在先今自动驾驶技术中被广泛应用。在深度学习方向上，现代车道线检测方法主要将车道线检测视为像素分割问题。传统CNN模型对于上下文和全局信息的轻视导致了遮挡和强光条件下检测效率降低；SCNN方法虽然注重全局信息提取，但循环计算流程导致计算复杂度上升；UFSA方法将车道线检测过程视为使用全局特征的基于行的选择问题，其将图片进行网格划分，其中一张图像(H,W)尺寸的图像被划分为尺寸(h,w)的网格，其中h、w远小于H、W。UFSA将像素分割处理变为网格分类处理，其仅关注每个网格的分类，从而大大减小参数量和提高计算速度，显著降低了计算成本。但是其在复杂的culane数据集上F1
‑
score表现仍有提升空间。首先由于UFSA用以提高计算速度的图像网格化方法对于占像素点较少的远处图像无法做到细致的分类；其次其使用ResNet卷积网络作为特征提取的主干网络由于卷积核感受野较小且局限在矩形局部范围内，无法提取到更多全局范围的特征；最后UFSA作者在训练网络时使用的多项式损失函数中包括限制车道线弯曲程度的方法，故检测生成的车道线偏直，在弯道情况下并没有很好的检测表现。

技术实现思路

[0003]本专利技术的目的是提出一种使用自注意力机制和可变卷积的车道检测方法，解决当前车道线检测技术对于在道路弯道、强光和遮挡等需要更多全局信息的场景中难以做出准确检测的问题。
[0004]本专利技术提供了一种使用自注意力机制和可变卷积的车道线检测方法，包括如下步骤：
[0005]S1、获取原始图像数据并构建数据集；
[0006]S2、数据集预处理，将原始图像数据经过遮挡、亮度调节、对比度调节、随机噪声生成得到预处理后的图像数据；
[0007]S3、预处理后的图像数据作为输入，进行特征提取
[0008]S3
‑
1、通过由4个卷积堆叠模块组成的ResNet18提取出后三个卷积模块生成的3个特征图T1～T3；
[0009]S3
‑
2、输出的特征图T3进行自注意力提取得到特征图T4；
[0010]S4、特征融合，由于T1～T4的通道数和尺寸不同，将特征图T1～T4的融合前需要进行尺寸变换，首先对T1～T4卷积操作，统一到特定的通道数C
f
＝64，然后从T4到T1通过逐个上采样和相加的操作，得到一个融合了不同卷积层和自注意力特征的特征图T
c
；
[0011]S5、将融合了不同卷积层和自注意力特征的特征图T
c
进行可变卷积处理得到新的特征图T
o
[0012]S6、车道线预测
[0013]以T
o
为输入，经过两层全连接与Relu组合的计算层输出每一个网格属于每一条车道线的概率，其组成的概率矩阵M，其尺寸为(lanes,H,W)，其中lanes为车道线数目的通道数，H、W为网格尺寸，每一个通道表示一条车道线在每个网格的分类信息，将概率矩阵M与数据集的label做交叉熵损失计算并反向传播，fc为全连接层
[0014]M＝fc(relu(fc(T
o
)))。
[0015]作为优选，所述步骤S3
‑
1中生产的三个特征图T
i
，尺寸为(C
i
×
H
i
×
W
i
),i∈[1,3],的特征图，其中C为通道数，H，W为长宽尺寸。
[0016]作为优选，所述步骤S3
‑
2中，自注意力提取的方法为：仅对ResNet最后输出的一个特征图T3做自注意力信息提取，首先经过预处理卷积层统一到特定的通道数C
A
，在分别经过query_conv,key_conv和val_conv三个不同的卷积层得到特征T
q
,T
k
和T
v
，尺寸均别(C
A
×
H
×
W)均将二三维合并，而后T
q
交换一二维，得到尺寸分别为(HW
×
C
A
),(C
A
×
HW),(C
A
×
HW).再经过以下公式得到attention向量T
a
[0017]T
a
＝(softmax(T
q
×
T
k
))
×
T
v
[0018]输出结果通过T
ai
与T
i
加权输出：
[0019]T
ai
＝final_conv(α*T
a
+T3)
[0020]其中final_conv为最后经过一层卷积进行特征过滤，得到的最终特征图输出作为T4加入到后续输入中
[0021]作为优选，所述步骤S4中，特征融合方法为：
[0022]S4
‑
1、通过线性插值法进行上采样到T
i
‑1相同的长宽尺寸；
[0023]S4
‑
2、将尺寸相同的T
i
和T
i
‑1对应位置相加得到新的T
i
‑1；
[0024]S4
‑
3、i＝i
‑
1；
[0025]S4
‑
4、重复S4
‑
1到S4
‑
3，即得到特征图T
c
。
[0026]作为优选，所述步骤S5包括如下子步骤：
[0027]S5
‑
1、首先将T
c
通过两个由三层卷积组成的计算单元：三层卷积，提取出T
cls
和T
pts
，前者是应用可变卷积的特征图，后者用以生成指定可变卷积位置的向量；
[0028]S5
‑
2、将T
pts
再通过两层卷积生成T
offset
尺寸为(N
×
H
×
W)其中N为可变卷积感受野包含的计算位置个数，其数值为卷积计算点偏离卷积位置的数值，正数为向右偏移，负数为向左偏移，
[0029]T
offset
＝conv(T
pts
)
[0030]S5
‑
3、将T
offset
与数据集的label做损失计算，其目的在于让T
offset
的数值落在图像中车道线的位置，也就是为了让可变卷积所卷积的位置是车道线位置，可称之为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用自注意力机制和可变卷积的车道线检测方法，其特征在于，包括如下步骤：S1、获取原始图像数据并构建数据集；S2、数据集预处理，将原始图像数据经过遮挡、亮度调节、对比度调节、随机噪声生成得到预处理后的图像数据；S3、预处理后的图像数据作为输入，进行特征提取S3
‑
1、通过由4个卷积堆叠模块组成的ResNet18提取出后三个卷积模块生成的3个特征图T1～T3；S3
‑
2、输出的特征图T3进行自注意力提取得到特征图T4；S4、特征融合，将特征图T1～T4的融合前需要进行尺寸变换，首先对T1～T4卷积操作，统一到特定的通道数C
f
＝64；然后从T4到T1通过逐个上采样和相加的操作，得到一个融合了不同卷积层和自注意力特征的特征图T
c
；S5、将融合了不同卷积层和自注意力特征的特征图T
c
进行可变卷积处理得到新的特征图T
o
S6、车道线预测以T
o
为输入，经过两层全连接与Relu组合的计算层输出每一个网格属于每一条车道线的概率，其组成的概率矩阵M，其尺寸为(lanes,H,W)，其中lanes为车道线数目的通道数，H、W为网格尺寸，每一个通道表示一条车道线在每个网格的分类信息，将概率矩阵M与数据集的label做交叉熵损失计算并反向传播，fc为全连接层M＝fc(relu(fc(T
o
)))。2.根据权利要求1所述的使用自注意力机制和可变卷积的车道线检测方法，其特征在于，所述步骤S3
‑
1中生产的三个特征图T
i
，尺寸为(C
i
×
H
i
×
W
i
),i∈[1,3],的特征图，其中C为通道数，H，W为长宽尺寸。3.根据权利要求2所述的使用自注意力机制和可变卷积的车道线检测方法，其特征在于，所述步骤S3
‑
2中，自注意力提取的方法为：仅对ResNet最后输出的一个特征图T3做自注意力信息提取，首先经过预处理卷积层统一到特定的通道数C
A
，在分别经过query_conv,key_conv和val_conv三个不同的卷积层得到特征T
q
,T
k
和T
v
，尺寸均别(C
A
×
H
×
W)均将二三维合并，而后T
q
交换一二维，得到尺寸分别为(HW
×
C
A
),(C
A
×
HW),(C
A
×
HW)....

【专利技术属性】
技术研发人员：汤景凡，吴旺杰，张旻，姜明，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：