一种图像处理方法、一种车道线检测方法及相关设备技术

本申请实施例公开了一种图像处理方法，该方法可以应用于自适应巡航、车道偏离预警、车道保持辅助等包含车道线检测的场景。该方法包括：对待检测图像进行特征提取，得到第一特征；对待检测图像的检测框信息进行处理，得到第二特征，检测框信息包括待检测图像中至少一个对象的检测框在待检测图像中的位置；将第一特征与第二特征输入基于transformer结构的第一神经网络，得到待检测图像中的车道线。通过将transformer结构的神经网络应用于车道线检测任务上，可以获取待检测图像的全局信息，进而有效地建模车道线之间的长程联系。并通过增加检测框信息，提升对图像场景的感知能力。提升对图像场景的感知能力。提升对图像场景的感知能力。

【技术实现步骤摘要】
一种图像处理方法、一种车道线检测方法及相关设备


[0001]本申请实施例涉及人工智能领域，尤其涉及一种图像处理方法、一种车道线检测方法及相关设备。

技术介绍

[0002]智能驾驶(例如自动驾驶、辅助驾驶等)技术依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让车辆可以在不需要人类主动操作下，实现自动驾驶。车道线检测技术是智能驾驶中最重要的技术之一，它对其他应用在智能驾驶系统上的技术(如自适应巡航控制、车道偏离警告、道路状况理解等)都有非常重要的意义。车道线检测技术的目标是通过摄像头获取的图片输入，预测出图片中的每一条车道线，以辅助汽车行驶在正确的车道上。
[0003]随着深度学习技术的发展，基于图像分割的车道线检测开始出现，基于图像分割的车道线检测模型首先预测出整张图的分割结果，然后通过聚类后输出车道线检测结果。
[0004]然而，基于深度学习技术的车道线检测方法大多是基于卷积神经网络，例如空间卷积神经网络(spatial convolutional neuron network，SCNN)等，由于卷积神经网络会受本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：对待检测图像进行特征提取，得到第一特征；对所述待检测图像的检测框信息进行处理，得到第二特征，所述检测框信息包括所述待检测图像中至少一个对象的检测框在所述待检测图像中的位置；将所述第一特征与所述第二特征输入基于transformer结构的第一神经网络，得到所述待检测图像中的车道线。2.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像的检测框信息进行处理，得到第二特征包括：对至少一个第三特征与所述检测框信息进行处理，得到所述第二特征，所述至少一个第三特征为获取所述第一特征的过程中所得到的中间特征。3.根据权利要求2所述的方法，其特征在于，所述第二特征包括所述检测框的位置特征与语义特征，所述检测框信息还包括：所述检测框的类别与置信度；所述对至少一个第三特征与所述检测框信息进行处理，得到所述第二特征包括：基于所述至少一个第三特征、所述位置以及所述置信度获取所述语义特征；基于所述位置与所述类别获取所述位置特征。4.根据权利要求3所述的方法，其特征在于，所述基于所述至少一个第三特征、所述位置以及所述置信度获取所述语义特征，包括：基于所述位置从所述至少一个第三特征中提取出感兴趣区域ROI特征；对所述ROI特征与所述置信度进行乘法处理，并将得到的特征输入全连接层，得到所述语义特征；所述基于所述位置与所述类别获取所述位置特征，包括：获取所述类别的向量，并与所述位置对应的向量进行拼接，将拼接得到的特征输入全连接层，得到所述位置特征。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于transformer结构的第一神经网络包括编码器、解码器以及前馈神经网络；将所述第一特征与所述第二特征输入基于transformer结构的第一神经网络，得到所述待检测图像中的车道线，包括：将所述第一特征与所述第二特征输入所述编码器，得到第四特征；将所述第四特征、所述第二特征以及查询特征输入所述解码器，得到第五特征；将所述第五特征输入所述前馈神经网络，得到多个点集，所述多个点集中的每个点集表示所述待检测图像中的一条车道线。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：基于所述第一特征获取第一行特征与第一列特征，所述第一行特征为由所述第一特征对应的矩阵沿着行的方向进行拉平(flatten)得到，所述第一列特征为由所述矩阵沿着列的方向进行拉平(flatten)得到；所述将所述第一特征与所述第二特征输入所述编码器，得到第四特征，包括：将所述第一特征、所述第二特征、所述第一行特征以及所述第一列特征输入所述编码器，得到所述第四特征。7.根据权利要求6所述的方法，其特征在于，所述将所述第一特征、所述第二特征、所述
第一行特征以及所述第一列特征输入所述编码器，得到所述第四特征，包括：对所述第一特征进行自注意力计算，得到第一输出；对所述第一特征与所述第二特征进行交叉注意力计算，得到第二输出；对所述第一行特征与所述第一列特征进行自注意力计算与拼接处理，得到行列输出；基于所述第一输出、所述第二输出以及所述行列输出获取所述第四特征。8.根据权利要求7所述的方法，其特征在于，所述基于所述第一输出、所述第二输出以及所述行列输出获取所述第四特征，包括：对所述第一输出与所述第二输出进行相加处理，得到第五输出；对所述第五输出与所述行列输出进行拼接处理，得到所述第四特征。9.根据权利要求5所述的方法，其特征在于，所述将所述第一特征与所述第二特征输入所述编码器，得到第四特征，包括：对所述第一特征进行自注意力计算，得到第一输出；对所述第一特征与所述第二特征进行交叉注意力计算，得到第二输出；对所述第一输出与所述第二输出进行相加处理，得到所述第四特征。10.根据权利要求5至9中任一项所述的方法，其特征在于，所述将所述第四特征、所述第二特征以及查询特征输入所述解码器，得到第五特征，包括：对所述查询特征与所述第四特征进行交叉注意力计算，得到第三输出；对所述查询特征与所述第二特征进行处理，得到第四输出；对所述第三输出与所述第四输出进行相加处理，得到所述第五特征。11.根据权利要求1至10中任一项所述的方法，其特征在于，所述对待检测图像进行特征提取，得到第一特征包括：对主干网络中不同层输出的特征进行特征融合与降维处理，得到所述第一特征，所述主干网络的输入为所述待检测图像。12.一种车道线检测方法，其特征在于，所述方法应用于车辆，所述方法包括：获取待检测图像；对所述待检测图像进行处理，得到多个点集，所述多个点集中的每个点集表示所述待检测图像中的一条车道线；其中，所述处理基于transformer结构的第一神经网络与检测框信息预测图像中车道线的点集，所述检测框信息包括所述待检测图像中至少一个对象的检测框在所述待检测图像中的位置。13.根据权利要求12所述的方法，其特征在于，所述检测框信息还包括：所述检测框的类别与置信度。14.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：显示所述车道线。15.根据权利要求12至14中任一项所述的方法，其特征在于，所述方法还包括：对所述至少一个对象进行建模得到虚拟对象；基于所述位置对所述多个点集与所述虚拟对象进行融合处理，得到目标图像；显示所述目标图像。16.一种图像处理设备，其特征在于，所述图像处理设备包括：提取单元，用于对待检测图像进行特征提取，得到第一特征；
处理单元，用于对所述待检测图像的检测框信息进行处理，得到第二特征，所述检测框信息包括所述待检测图像中至少一个对象的检测框在所述待检测图像中的位置；确定单元，用于将所述第一特征与所述第二特征输入基于transformer结构的第一神经网络，得到所述待检测图像中的车道线。17.根据权利要求16所述的图像处理设备，其...

【专利技术属性】
技术研发人员：韩建华，徐航，许春景，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：