本发明专利技术公开了一种基于可变形注意力机制的车道线检测方法，包括：(1)构建一个基于残差结构的主干卷积网络；(2)将主干卷积网络的顶层加入池化层和全连接层，构成第一深度模型并进行预训练；(3)提取第一深度模型中的主干卷积网络，利用其产生特征图，基于特征金字塔网络得到不同尺度特征图，在其后加入特征翻转融合层、可变形注意力卷积网络、池化层和卷积层，构成第二深度模型；(4)使用图片车道线检测数据集训练第二深度模型；(5)利用第二深度模型对待测图片进行分析，预测图像中每条车道线对应的关键点序列，形成车道线检测图。本发明专利技术能促进模型对形变比较复杂物体具备更好的注意力分布，提升模型的鲁棒性，使车道线检测更准确。确。确。
【技术实现步骤摘要】
一种基于可变形注意力机制的车道线检测方法
[0001]本专利技术属于计算机视觉与图像处理领域，尤其是涉及一种基于可变形注意力机制的车道线检测方法。
技术介绍
[0002]随着深度学习理论的发现和深入研究，自动驾驶下属的多个领域和任务都有了飞速突破和显著提升。其中，车道线检测因自动驾驶对其准确率和实时性的高要求，成为了最为迫切的计算视觉任务之一和目前热门的研究方向。车道线检测任务要求，计算视觉系统对任意大小图片上，车道线的具体位置和种类进行预测。目前主流的车道线检测解决方案均采用卷积网络架构，具体分为三类：基于分割的方法、基于anchor的方法和基于关键参数的方法。
[0003]基于分割的方法目前比较著名的是Zheng等人于2021年在AAAI Conference on Artificial Intelligence会议上发表的工作《Resa:Recurrent feature
‑
shift aggregator for lane detection》，该工作介绍了RESA方法是该领域的前沿方案，通过实时特征聚合模块，使网络聚集全局特征。
[0004]基于anchor的方法目前比较著名的是Zheng等人于2022年在IEEE/CVF conference on computer vision and pattern recognition会议上发表的工作《Clrnet:Cross layer refinement network for lane detection》，该工作介绍的CLRNet是该方法领域的前沿方案，通过RoIGather模块和级联思想，使车道线特征与多尺度全局特征进行交互。
[0005]然而，从驾驶场景中的前置摄像头视角来考虑车道的整体结构。道路具有近似等距的车道线，分布比较对称，该属性适合进行建模，比如，左车道线的存在很有可能表示右车道线的对应存在，左车道的结构能够帮助描述右车道。不过，因为相机拍摄图像会存在轻微的错位，因此需要设计精度更高的车道线检测模型来解决这种复杂形变问题。
技术实现思路
[0006]本专利技术公开了一种基于可变形注意力机制的车道线检测方法，能够促进检测模型对形变比较复杂的物体具备更好的注意力分布，提升训练模型的鲁棒性，使车道线检测更准确。
[0007]一种基于可变形注意力机制的车道线检测方法，包括以下步骤：
[0008](1)构建一个基于残差结构的主干卷积网络；
[0009](2)将主干卷积网络的顶层加入图像池化层和全连接层网络，构成第一深度模型，并在大型数据集上进行预训练；
[0010](3)提取预训练好的第一深度模型中的主干卷积网络，利用其产生特征图，基于特征金字塔网络得到不同尺度的特征图，并将每个尺度的特征图输入基于级联思想的检测网络，共同构成第二深度模型；
[0011]其中，检测网络包括特征翻转融合层、可变形注意力的卷积网络、池化层和卷积层；
[0012](4)使用图片车道线检测的数据集训练第二深度模型，直到模型收敛；
[0013](5)利用训练好的第二深度模型对待测图片进行分析，预测图像中每条车道线对应的关键点序列，形成车道线检测图输出。
[0014]本专利技术首先构建一种基于残差结构的主干卷积神经网络，随后预训练一个包含池化
‑
全连接层的深度学习网络作为主干卷积网络的初始化，然后添加一个特征翻转融合层和可变形注意力卷积的检测网络，在训练数据集(车道线检测任务)上进行训练，预测输入图像上车道线的关键点序列。该方法能够促进深度网络学习车道线比较对称的分布，同时优化因为相机拍摄导致形变比较复杂的车道线检测这一潜在的任务，从而更容易产生鲁棒的车道线检测模型。
[0015]步骤(2)中，所述的大型数据集采用图像识别数据集ImageNet。
[0016]在主干卷积网络的顶层加入图像池化层，使得图像由三维特征图变成特征向量；随后使用全连接网络，将特征向量变形为N维的向量，对应着大型数据集的N个图像种类。
[0017]预训练的具体过程如下：
[0018]将第一深度模型在GPU上进行训练，每个GPU单次计算32个图像，8个GPU并行训练；
[0019]使用SGDM优化算法，初始学习率0.256，并在每30次循环后将学习率降低为10％，共计训练90个循环，Momentum参数设置为0.9，直到模型收敛。
[0020]步骤(3)中，将每个尺度的特征图输入基于级联思想的检测网络中，检测网络对输入特征图首先进行特征翻转融合和可变形注意力处理得到新的特征图，然后使用平均池化得到初步的特征向量，其维度大小是(C，)，其中C是对应特征图的通道数，表示对应特征图的宽大小；最后通过1维卷积层得到最终融合之后的特征向量，1维卷积核大小设为3。
[0021]可变形注意力的定义如下：
[0022][0023]其中，y(p)是输出特征图位置p对应的数值；K表示卷积时采样的位置数，w
k
表示对应位置卷积的权值大小；p
k
是位置p对应的卷积偏移坐标，Δp
k
是可变形注意力网络学习到的偏移量offset，x(p+p
k
+Δp
k
)是输入特征图偏移之后对应位置的数值；Δm
k
是可变形注意力网络学习到的权重；
[0024]假设可变形注意力的卷积网络的卷积核大小为S，偏移坐标p
k
的具体数值从如下动态集合中选取：
[0025][0026]检测网络中的卷积层采用均值为0，方差为0.001的正态分布初始化。
[0027]步骤(4)的具体过程如下：
[0028](4
‑
1)将训练集的图片输入第二深度模型中，经基于特征金字塔网络后产生多个尺度的特征图；
[0029](4
‑
2)将每个尺度的特征图都输入给对应的基于级联思想的检测网络中，检测网络对输入特征图处理得到特征向量；
[0030](4
‑
3)将产生的特征向量分别送入分类和回归任务的1维卷积层中，产生预测的概率、起始点、角度、车道线长度和坐标偏移量；使用Focal loss、Smooth
‑
L1 loss和Line IoU loss损失函数计算网络上参数的梯度，并使用Adam优化算法更新参数值；初始学习率设置为10
‑3；
[0031](4
‑
4)重复上述步骤(4
‑
1)至(4
‑
3)，直到模型收敛。
[0032]与现有技术相比，本专利技术具有以下有益效果：
[0033]1、本专利技术基于对卷积网络感受野的理解，采用了新型可变形注意力，改善神经网络对不同形状物体的关注度，使其更容易学到输入和输出之间的内涵关联。
[0034]2、本专利技术设计了翻转融合层将特征图进行融合处理，有利于利用前景车道本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于可变形注意力机制的车道线检测方法，其特征在于，包括以下步骤：(1)构建一个基于残差结构的主干卷积网络；(2)将主干卷积网络的顶层加入图像池化层和全连接层网络，构成第一深度模型，并在大型数据集上进行预训练；(3)提取预训练好的第一深度模型中的主干卷积网络，利用其产生特征图，基于特征金字塔网络得到不同尺度的特征图，并将每个尺度的特征图输入基于级联思想的检测网络，共同构成第二深度模型；其中，检测网络包括特征翻转融合层、可变形注意力的卷积网络、池化层和卷积层；(4)使用图片车道线检测的数据集训练第二深度模型，直到模型收敛；(5)利用训练好的第二深度模型对待测图片进行分析，预测图像中每条车道线对应的关键点序列，形成车道线检测图输出。2.根据权利要求1所述的基于可变形注意力机制的车道线检测方法，其特征在于，步骤(2)中，所述的大型数据集采用图像识别数据集ImageNet。3.根据权利要求2所述的基于可变形注意力机制的车道线检测方法，其特征在于，步骤(2)中，在主干卷积网络的顶层加入图像池化层，使得图像由三维特征图变成特征向量；随后使用全连接网络，将特征向量变形为N维的向量，对应着大型数据集的N个图像种类。4.根据权利要求1所述的基于可变形注意力机制的车道线检测方法，其特征在于，步骤(2)中，预训练的具体过程如下：将第一深度模型在GPU上进行训练，每个GPU单次计算32个图像，8个GPU并行训练；使用SGDM优化算法，初始学习率0.256，并在每30次循环后将学习率降低为10％，共计训练90个循环，Momentum参数设置为0.9，直到模型收敛。5.根据权利要求1所述的基于可变形注意力机制的车道线检测方法，其特征在于，步骤(3)中，将每个尺度的特征图输入基于级联思想的检测网络中，检测网络对输入特征图首先进行特征翻转融合和可变形注意力处理得到新的特征图，然后使用平均池化得到初步的特征向量，其维度大小是其中C是对应特征图的通道数，表示对应特征图的宽大小；最后通过1维卷积层得到最终融合之后的特征向量，1维卷...
【专利技术属性】
技术研发人员：李科，宋梓源，陈征，化子烁，武伯熹，林彬彬，
申请(专利权)人：宁波弗浪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。