一种基于车道片段的车道线检测方法技术

本发明专利技术提出一种基于车道片段的车道线检测方法，利用车道点的局部和全局结构信息，首先提取一组具有局部最大响应的多个车道参考点，以提供一个粗略的全局车道结构。一条车道线随后被车道参考点划分为几个车道片段。通过显式的预测车道参考点和其他车道点之间的偏移量。然后根据偏移量预测，关联可靠的相邻车道点来构造每个车道参考点对应的车道片段。在局部区域的车道片段内构建相邻车道点的结构相关性。最后通过平滑连接所有车道片段重建完整的车道线。本发明专利技术利用局部车道细节和全局结构信息，同时实现良好的局部车道定位以及平滑的车道结构预测。的车道结构预测。的车道结构预测。

【技术实现步骤摘要】
一种基于车道片段的车道线检测方法


[0001]本专利技术属于自动驾驶中广泛应用的车道线检测技术，具体涉及一种基于车道片段的车道线检测方法。

技术介绍

[0002]车道线检测是自动驾驶的一项关键任务。为了完成基于图像的车道线检测任务，车道线通常被表示为一组有序点集。基于点的车道线检测方法首先定位每个单独的车道点并通过自下而上的方式重建完整的车道线。尽管基于点的方法在局部车道点定位方面具有优势，但它们几乎没有考虑车道点应满足的整体结构，并因此可能产生不准确的车道线定位和非平滑的车道预测。
[0003]基于点表示的车道线检测方法没有考虑或难以在合适的尺度上构建车道点的相关性。因此，在车道线被遮挡、或受极端光照影响导致车道线索不可见的情况下，这类方法的车道线定位精度降低，难以获得可靠的整体车道结构，导致车道线检测精度下降。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提出一种基于车道片段的车道线检测方法，利用了车道点的局部和全局结构信息。首先提取一组具有局部最大响应的多个车道参考点，这可以提供一个粗略的全局车道结构。一条车道线随后被车道参考点划分为几个车道片段。通过显式的预测车道参考点和其他车道点之间的偏移量。然后根据偏移量预测，关联可靠的相邻车道点来构造每个车道参考点对应的车道片段。在局部区域的车道片段内构建相邻车道点的结构相关性。最后通过平滑连接所有车道片段重建完整的车道线。本专利技术利用局部车道细节和全局结构信息，同时实现良好的局部车道定位以及平滑的车道结构预测。
[0005]为达到上述目的，本专利技术采用如下技术方案：
[0006]一种基于车道片段的车道线检测方法，包括如下步骤：
[0007]步骤S1：前视交通图像经过主干网络和自注意力模块进行特征提取，基于特征金字塔网络重构高分辨率的车道线特征图；
[0008]步骤S2：置信度预测头和偏移预测头基于车道线特征图分别预测得到车道置信度图和车道点水平偏移图其中，车道置信度图的每个通道输出对应一条车道线的置信度，车道点水平偏移图的每个通道输出对应其他车道点相对于给定车道参考点的水平偏移量；
[0009]步骤S3：利用最大池化操作从车道置信度图选取一批具有局部最大响应的车道点，当相对于给定参考点的水平偏移量低于给定的筛选阈值则被选定为最终的车道参考点，因此所选取的车道参考点同时具备较高的置信度和准确的水平偏移量预测；
[0010]步骤S4：上述获取的车道参考点将一条完整的车道线划分多个车道片段，根据车道参考点的位置索引相应的水平偏移预测图在局部区域内关联其他车道点从而得到每个车道参考点对应的车道片段；
[0011]步骤S5：在相邻车道片段重叠的区域通过加权平均的方式确定重叠区域内车道点的最终位置，从而平滑的连接多个车道片段，得到最终的车道线位置。
[0012]进一步地，所述步骤S2中，车道置信度图和车道点水平偏移图的定义如下：
[0013]车道线检测任务的目标是预测一组车道线集合L＝{l1,l2,
…
,l
K
},其中l表示单条车道线，下标K是车道总数，车道线用一组分布在均匀间隔行上车道点表示，如下所示：
[0014][0015]y
i
＝i
·
Δy,i＝1,
…
,N
k
(1b)
[0016]其中，Δy为相邻两车道点的垂直间隔，表示第k条车道在第y
i
行上的车道点对应的水平坐标，N
k
是给定的组成单条车道线的最大车道点数量；
[0017]为了增强车道点之间的局部和全局相关性，设置主干网络、金字塔网络和两个预测头，即置信度预测头和偏移预测头；首先通过车道置信度图选择一组可靠的车道参考点，提供车道的整体结构；然后，使用车道点水平偏移图构建车道参考点的相应车道片段以填充局部车道细节；对于给定的输入图像I，其中H
I
、W
I
为输入图高和宽，R为实数域；两个预测头的最终输出是车道置信度图R
+
是正实数域，和车道点水平偏移图r是输出步长，N
k
是构成单条车道的最大车道点数量；车道置信度图描述每个像素是车道点的概率，K个输出通道分别与K个车道实例相关；公式(1a)、公式(1b)中定义的车道点的y坐标是固定的；如果确定第k车道第i行的一个车道参考点则所有其他车道点相对于车道参考点的水平偏移量通过车道点水平偏移图的第i个通道索引得到。
[0018]进一步地，所述步骤S3中的车道参考点的选取包括：
[0019]利用预测的车道置信度图找到响应显著的车道区域中的车道参考点；
[0020]通过核大小为K
ref
×
K
ref
的最大池化层选择一组点，通过调整最大池化核的大小，相应调整车道参考点和车道线段的全局分布，车道参考点保持车道置信度图和车道点水平偏移量图的一致性；
[0021]考虑到正负样本极度不平衡，采用焦点损失函数focal loss来约束置信回归任务的学习为：
[0022][0023]其中，为置信度预测损失，L
CE
(
·
)是焦点损失函数focal loss损失函数，和G
conf
分别表示车道点的置信度预测和真值，N是输出的像素数，xy表示车道点坐标，即
[0024]进一步地，所述步骤S4包括：
[0025]以任意车道点为车道参考点，偏移头预测所有其他车道点相对于车道参考点的水平偏移，构建车道点之间的全局关系，利用局部车道线索准确确定该区域车道点的位置；将车道点表示为(x,y)，其相对于车道参考点(x
r
,y
r
)的预测水平偏移量为δx，如果(x+δx,y)和(x
r
,y
r
)的水平位置足够接近，即||x
r
‑
x
‑
δx||1≤δ，||
·
||1为计算距离的1
‑
范数，则车道点
与车道参考点相关联，其中δ是给定的阈值；完整车道用车道片段的加权和来构造；
[0026]在偏移量预测的损失计算中应考虑车道置信度图和车道点水平偏移量图之间的一致性：
[0027][0028]其中L1(
·
)是平滑的L1损失，是预测的车道置信度图，是点(x,y)处的预测置信度值，和分别表示第i个车道点的偏移量的预测和真值，N
p
是图像中车道点的数量，N
k
是构成单条车道线的最大车道点数；G
oft
在训练期间被映射到所需的输出尺度，不需要具有整数值；
[0029]对于输入图像偏移图属于输出空间因此偏移图中的一个点与原始输入空间中的一个r
×
r网格相关，r为输出步幅，车道点落在具有固定y坐标的预定义行上，采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于车道片段的车道线检测方法，其特征在于，包括如下步骤：步骤S1：前视交通图像经过主干网络和自注意力模块进行特征提取，基于特征金字塔网络重构高分辨率的车道线特征图；步骤S2：置信度预测头和偏移预测头基于车道线特征图分别预测得到车道置信度图和车道点水平偏移图其中，车道置信度图的每个通道输出对应一条车道线的置信度，车道点水平偏移图的每个通道输出对应其他车道点相对于给定车道参考点的水平偏移量；步骤S3：利用最大池化操作从车道置信度图选取一批具有局部最大响应的车道点，当相对于给定参考点的水平偏移量低于给定的筛选阈值则被选定为最终的车道参考点，因此所选取的车道参考点同时具备较高的置信度和准确的水平偏移量预测；步骤S4：上述获取的车道参考点将一条完整的车道线划分多个车道片段，根据车道参考点的位置索引相应的水平偏移预测图在局部区域内关联其他车道点从而得到每个车道参考点对应的车道片段；步骤S5：在相邻车道片段重叠的区域通过加权平均的方式确定重叠区域内车道点的最终位置，从而平滑的连接多个车道片段，得到最终的车道线位置。2.根据权利要求1所述的一种基于车道片段的车道线检测方法，其特征在于，所述步骤S2中，车道置信度图和车道点水平偏移图的定义如下：车道线检测任务的目标是预测一组车道线集合L＝{l1,l2,
…
,l
K
},其中l表示单条车道线，下标K是车道总数，车道线用一组分布在均匀间隔行上车道点表示，如下所示：y
i
＝i
·
Δy,i＝1,
…
,N
k
(1b)其中，Δy为相邻两车道点的垂直间隔，表示第k条车道在第y
i
行上的车道点对应的水平坐标，N
k
是给定的组成单条车道线的最大车道点数量；为了增强车道点之间的局部和全局相关性，设置主干网络、金字塔网络和两个预测头，即置信度预测头和偏移预测头；首先通过车道置信度图选择一组可靠的车道参考点，提供车道的整体结构；然后，使用车道点水平偏移图构建车道参考点的相应车道片段以填充局部车道细节；对于给定的输入图像I，其中H
I
、W
I
为输入图高和宽，R为实数域；两个预测头的最终输出是车道置信度图R
+
是正实数域，和车道点水平偏移图r是输出步长，N
k
是构成单条车道的最大车道点数量；车道置信度图描述每个像素是车道点的概率，K个输出通道分别与K个车道实例相关；公式(1a)、公式(1b)中定义的车道点的y坐标是固定的；如果确定第k车道第i行的一个车道参考点则所有其他车道点相对于车道参考点的水平偏移量通过车道点水平偏移图的第i个通道索引得到。3.根据权利要求2所述的一种基于车道片段的车道线检测方法，其特征在于，所述步骤S3中的车道参考点的选取包括：
利用预测的车道置信度图找到响应显著的车道区域中的车道参考点；通过核大小为K
ref
×
K
ref
的最大池化层选择一组点，通过调整最大池化核的大小，相应调整车道参考点和车道线段的全局分布，车道参考点保持车道置信度图和车道点水平偏移量图的一致性；考虑到正负样本极度不平衡，采用焦点损失函数focal loss来约束置信回归任务的学习为：其中，为置信度预测损失，L
CE
(
·
)是焦点损失函数focalloss损失函数，和G
conf
分别表示车道点的置信度预测和真值，N是输出的像素数，xy表示车道点坐标，即4.根据权利要求3所述的一种基于车道片段的车道线检测方法，其特征在于，所述步骤S4包括：以任意车道点为车道参考点，偏移头预测所有其他车道点相对于车道参考点的...

【专利技术属性】
技术研发人员：凌强，刘彬辉，方毅，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：