一种基于矩形注意力机制的车道线检测方法技术

本发明专利技术涉及图像处理和车辆智能驾驶领域，提供了一种基于矩形注意力机制的车道线检测方法，步骤包括：获取车道线图像，将所述车道线图像输入到已训练收敛的基于矩形注意力机制的车道线检测模型中进行下采样，将所述下采样后的特征图通过注意力机制网络得到注意力加权后的特征图，将所述注意力加权后的特征图上采样，将上采样后的特征图通过关键点检测网络得到包含车道线起始点在内的所有关键点坐标，采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例。本发明专利技术解决了自动驾驶中存在的难检测车道线场景，提高了模型的推理速度和预测准确度。度。度。

【技术实现步骤摘要】
一种基于矩形注意力机制的车道线检测方法


[0001]本专利技术涉及图像处理和车辆智能驾驶领域，尤其是指一种基于矩形注意力机制的车道线检测方法、装置、设备以及计算机可读存储介质。

技术介绍

[0002]车道线检测是一项具有挑战性的任务，需要在高实时性下预测复杂的车道线拓扑形状，并同时区分不同类型的车道。近十年来，自动驾驶技术逐渐成为计算机视觉领域的研究热点，并受到学术界和产业界的广泛关注。为了确保自动驾驶车辆的安全行驶，自动驾驶系统需要准确地理解车道线的空间信息。因此，从前置摄像头获取的图像中快速计算车道线的形状和位置信息是自动驾驶系统中至关重要的一步，这要求车道线检测既要具有高准确性，又要具有高实时性。
[0003]近些年大部分的研究将车道线检测视为实例分割或目标检测问题来解决。基于实例分割的方法大多采用多类别分类方式将像素点分割为车道线或者背景。基于检测的方法利用锚的思想来预测车道线，但也有一些方法利用车道线自身特性，使用锚线来扩大锚的特征范围，以此预测车道线实例。但本申请专利技术人在实现本申请实施例中专利技术技术方案的过程中，发现上述技术至少存在如下技术问题：当面对一些极端情况，例如道路遮挡，这些方法的检测性能往往不佳。在这种情况下，如何从图像中提取隐藏的车道线信息显得至关重要。
[0004]建立在图像实例分割基础上的方法，会预测出特征图中所有像素点的类别，但是对于车道线检测任务来讲，车道线本身的曲线特性就决定了车道线所含像素点占整张特征图的比例极小，大多数预测的像素点与车道线无关，就导致模型在分割过程中的计算效率低。
[0005]基于锚检测方法的不足之处：大多数车道线图像只会存在2
‑
5条车道线，但是模型会预测出上百个锚，这就导致模型长尾效应明显，需要使用NMS(Non
‑
Maximum Suppression)后处理方法来去除冗余的车道线锚。

技术实现思路

[0006]为此，本专利技术所要解决的技术问题在于提供一种基于矩形注意力机制的车道线检测方法，以克服现有自动驾驶中存在的道路被遮挡情况下难以检测车道线及检测效率低的问题。
[0007]为解决上述技术问题，本专利技术提供了一种基于矩形注意力机制的车道线检测方法，包括：获取车道线图像f∈R
C
×
H
′×
W
′
，其中C为通道数，H
′
为图像高度，W
′
为图像宽度；将所述车道线图像输入到已训练收敛的基于矩形注意力机制的车道线检测模型中，对所述车道线图像进行卷积操作得到下采样后的特征图，所述下采样后的特征图尺寸为f
ds
∈R
C
×
P
×
W
′
，其中，C为通道数，P为图像高度，W
′
为图像宽度；将所述下采样后的特征图通过注意力机制网络得到Q、K、V，其中Q∈R
P
×
W
′×
C
′
、K∈R
P
×
C
′×
W
′
、V∈R
P
×
C
×
W
′
，所述Q和所述K通过仿射变换操作
后生成注意力特征图A，通过softmax层计算所述注意力图A中各点与其处在同一水平方向上各个点的关联度，将所述注意力特征图A与所述V之间通过矩阵乘法操作，得到注意力加权后的特征图f
o
∈R
C
×
P
×
W
′
，将注意力加权后的特征图上每一点与该点处于同一行内所有点的上下文特征信息聚合起来，将其经过卷积操作得到与原始输入特征图尺寸一致的上采样后的车道线特征图；将所述上采样后的车道线特征图输入所述基于矩形注意力机制的车道线检测模型的关键点检测网络中，输出所述上采样后的车道线特征图中包含车道线起始点在内的所有关键点坐标；采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例。
[0008]优选地，所述基于矩形注意力机制的车道线检测模型的训练集车道线图像为TuSimple。
[0009]优选地，通过设置卷积核的尺寸参数、步长参数、填充值参数对所述车道线图像进行两次相同的卷积操作，得到下采样后的特征图。
[0010]优选地，所述关键点检测网络的损失函数计算公式如下：
[0011][0012][0013]其中，ζ
yx
为起始点权重参数，L
f
为二分类平衡交叉熵损失函数，H
′
为特征图的高度，W
′
为特征图的宽度,x∈[W
′
l
,W
′‑
W
′
r
]and y∈[H
′‑
H
′
b
,H
′
]为非起始点区域,x∈[0,W
′
l]or x∈[W
′‑
W
′
r
,W
′
]or y∈[0,H
′
]为起始点区域,W
′
l
、W
′
r
、H
′
b
分别代表起始点区域的左宽度、右宽度、底部宽度，a代表非起始点区域的权重系数，b代表起始点区域的权重系数。
[0014]优选地，所述采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例的损失函数为：
[0015][0016]其中，H
′
为特征图的高度，W
′
为特征图的宽度，O
yx
分别代表的是预测点与预测起始点之间的偏移量、实际点与实际起始点之间的偏移量。
[0017]优选地，所述基于矩形注意力机制的车道线检测模型中，网络的整体损失函数公式为：
[0018]L
total
＝λ
point
L
point
+λ
offset
L
offset
[0019]其中，λ
point
、λ
offset
分别为关键点和偏移量损失函数的权重值，L
point
为关键点检测网络的损失函数，L
offset
为基于距离的聚类网络损失函数。
[0020]优选地，采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例，包括：
[0021]设置起始点距离阈值；
[0022]选取一个关键点与其对应起始点之间的坐标偏移量值小于1，将其视为车道线实例的候选起始点；
[0023]根据关键点与其对应起始点之间的坐标偏移量计算剩余关键点的理论起始点，保留与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于矩形注意力机制的车道线检测方法，其特征在于，包括：获取车道线图像f∈R
C
×
H
′×
W
′
，其中，C为通道数，H
′
为图像高度，W
′
为图像宽度；将所述车道线图像输入到已训练收敛的基于矩形注意力机制的车道线检测模型中，对所述车道线图像进行卷积操作得到下采样后的特征图，所述下采样后的特征图为f
ds
∈R
C
×
P
×
W
′
，其中，C为通道数，P为图像下采样后的高度，W
′
为图像宽度；将所述下采样后的特征图通过注意力机制网络得到Q、K、V，其中Q∈R
P
×
W
′×
C
′
、K∈R
P
×
C
′×
W
′
、V∈R
P
×
C
×
W
′
，所述Q和所述K通过仿射变换操作后生成注意力特征图A，通过softmax层计算所述注意力图A中各点与其处在同一水平方向上各个点的关联度，将所述注意力特征图A与所述V之间通过矩阵乘法操作，得到注意力加权后的特征图f
o
∈R
C
×
P
×
W
′
，将注意力加权后的特征图上每一点与该点处于同一行内所有点的上下文特征信息聚合起来，将其经过卷积操作得到与原始输入特征图尺寸一致的上采样后的车道线特征图；将所述上采样后的车道线特征图输入所述基于矩形注意力机制的车道线检测模型的关键点检测网络中，输出所述上采样后的车道线特征图中包含车道线起始点在内的所有关键点坐标；采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例。2.根据权利要求1所述的一种基于矩形注意力机制的车道线检测方法，其特征在于，所述基于矩形注意力机制的车道线检测模型的训练集车道线图像为TuSimple。3.根据权利要求1所述的一种基于矩形注意力机制的车道线检测方法，其特征在于，对所述车道线图像进行卷积操作得到下采样后的特征图包括：通过设置卷积核的尺寸参数、步长参数、填充值参数对所述车道线图像进行两次相同的卷积操作，得到下采样后的特征图。4.根据权利要求1所述的一种基于矩形注意力机制的车道线检测方法，其特征在于，所述关键点检测网络的损失函数计算公式如下：述关键点检测网络的损失函数计算公式如下：其中，ζ
yx
为起始点权重参数，L
f
为二分类平衡交叉熵损失函数，H
′
为特征图的高度，W
′
为特征图的宽度,x∈[W
l
′
,W
′‑
W
r
′
]and y∈[H
′‑
H
′
b
,H
′
]为非起始点区域,x∈[0,W
l
′
]or x∈[W
′‑
W
r
′
,W
′
]or y∈[0,H
′
]为起始点区域,W
l
′
、W
′
r
、H
′
b
分别代表起始点区域的左宽度、右宽度、底部宽度，a代表非起始点区域的权重系数，b代表起始点区域的权重系数。5.根据权利要求1所述的一种基于矩形注意力机制的车道线检测方法，其特征在于，所述采用基于距离的聚类网络，通过关键点坐标与其所属起始点间的偏移量来将关键点聚类为车道线实例的损失函数为：
其中，H
′
为特征图的高度，W
′
为特征图的宽度，O
yx
分别代表的是预测点与预测起始点之间的...

【专利技术属性】
技术研发人员：姚望舒，彭思源，薛一帆，
申请(专利权)人：苏州大学，
类型：发明
国别省市：