路面标识检测方法和装置、标识识别网络训练的方法制造方法及图纸

本公开实施例公开了一种路面标识检测方法和装置、标识识别网络的训练方法和装置、存储介质以及电子设备，其中，方法包括：获取路面图像和该路面图像的俯视图；利用标识识别网络，对路面图像和俯视图进行路面标识检测，得到第一检测结果和第二检测结果；基于第一检测结果和第二检测结果，确定路面标识的检测结果。由此可知，通过对路面图像和该路面图像的俯视图进行路面标识检测，根据路面标识在路面图像中的第一检测结果和在俯视图中的第二检测结果相互校验和补充，确定路面标识的检测结果。解决了由于路面图像或俯视图中由于路面标识形变或路面标识被遮挡所导致的路面标识被漏检、误检等问题，提高了路面标识检测结果的准确性。准确性。准确性。

【技术实现步骤摘要】
路面标识检测方法和装置、标识识别网络训练的方法


[0001]本公开涉及自动驾驶技术，尤其涉及一种路面标识检测方法和装置、标识识别网络的训练方法和装置、存储介质以及电子设备。

技术介绍

[0002]行驶路面上标识有各种用于辅助驾驶员行驶的路面标识，例如，限速标识、直行标识等。在辅助驾驶或自动驾驶中，对路面标识的准确识别，对于车辆的安全行驶、路径规划等有着至关重要的作用。
[0003]在行驶过程中，通常使用车辆自身摄像头拍摄的路面图像对路面标识进行识别。由于拍摄角度和拍摄距离的变化，使得摄像头拍摄的路面图像中的路面标识存在较大的形变，同时由于行驶路面上的路面标识往往存在被其他物体遮挡的情况，这就导致使用摄像头拍摄的路面图像进行路面标识检测别时，路面标识的检测结果准确性较差。

技术实现思路

[0004]现有路面标识检测中，由于路面图像中的路面标识存在形变以及路面标识被其他物体遮挡的情况，导致路面标识检测结果准确性较差的问题。
[0005]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种路面标识检测方法和装置、标识识别网络的训练方法和装置、存储介质以及电子设备。
[0006]根据本公开实施例的一个方面，提供了一种路面标识检测方法，包括：获取路面图像和所述路面图像的俯视图；利用标识识别网络，对所述路面图像进行路面标识检测，得到第一检测结果；其中，所述第一检测结果包括路面标识的第一检测框和第一分类置信度；利用所述标识识别网络，对所述俯视图进行路面标识检测，得到第二检测结果，其中，所述第二检测结果包括路面标识的第二检测框和第二分类置信度；基于所述第一检测结果和所述第二检测结果，确定所述路面标识的检测结果，其中，所述路面标识的检测结果包括路面标识的第三检测框和第三分类置信度。
[0007]根据本公开实施例的另一个方面，提供了一种标识识别网络的训练方法，包括：基于待训练的神经网络，利用样本路面图像集中各样本路面图像，得到各所述样本路面图像中路面标识的第一预测检测框和第一分类置信度预测值；其中，所述样本路面图像包括路面标识，所述样本路面图像标注有所述路面标识的第一检测框和第一分类置信度真值；基于待训练的神经网络，利用样本俯视图像集中的各样本俯视图，得到各所述样本俯视图中路面标识的第二预测检测框和第二分类置信度预测值；其中，所述样本俯视图包括路面标识，所述样本俯视图标注有所述路面标识的第二检测框和第二分类置信度真值；基于各所述样本路面图像中路标识的第一分类置信度预测值和第一分类置信度真值之间的第一损失，以及各所述样本俯视图中路面标识的第二分类置信度预测值和第二分类置信度真值之间的第二损失，对所述待训练的神经网络进行训练，直至满足预设训练条件，得到标识识别网络。
[0008]根据本公开实施例的又一个方面，提供了一种路面标识检测装置，包括：获取模块，用于获取路面图像和所述路面图像的俯视图；第一检测模块，用于利用标识识别网络，对所述路面图像进行路面标识检测，得到第一检测结果；其中，所述第一检测结果包括路面标识的第一检测框和第一分类置信度；第二检测模块，用于利用所述标识识别网络，对所述俯视图进行路面标识检测，得到第二检测结果，其中，所述第二检测结果包括路面标识的第二检测框和第二分类置信度；确定模块，用于基于所述第一检测结果和所述第二检测结果，确定所述路面标识的检测结果，其中，所述路面标识的检测结果包括路面标识的第三检测框和第三分类置信度。
[0009]根据本公开实施例的又一个方面，提供了一种标识识别网络的训练装置，包括：第一获取模块，用于基于待训练的神经网络，利用样本路面图像集中各样本路面图像，得到各所述样本路面图像中路面标识的第一预测检测框和第一分类置信度预测值；其中，所述样本路面图像包括路面标识，所述样本路面图像标注有所述路面标识的第一检测框和第一分类置信度真值；第二获取模块，基于待训练的神经网络，利用样本俯视图像集中的各样本俯视图，得到各所述样本俯视图中路面标识的第二预测检测框和第二分类置信度预测值；其中，所述样本俯视图包括路面标识，所述样本俯视图标注有所述路面标识的第二检测框和第二分类置信度真值；训练模块，用于基于各所述样本路面图像中路标识的第一分类置信度预测值和第一分类置信度真值之间的第一损失，以及各所述样本俯视图中路面标识的第二分类置信度预测值和第二分类置信度真值之间的第二损失，对所述待训练的神经网络进行训练，直至满足预设训练条件，得到标识识别网络。
[0010]根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述所述的方法。
[0011]根据本公开实施例的在一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述所述的方法。
[0012]基于本公开上述实施例提供的路面标识检测方法和装置、标识识别网络的训练方法和装置、存储介质以及电子设备，首先获取路面图像和该路面图像的俯视图；然后利用标识识别网络，对路面图像和俯视图进行路面标识检测，得到第一检测结果和第二检测结果；之后基于第一检测结果和第二检测结果，确定路面标识的检测结果。由此，本公开实施例中，通过对路面图像和该路面图像的俯视图进行路面标识检测，并通过路面标识在路面图像中的第一检测结果和在俯视图中的第二检测结果相互校验和补充，确定路面标识的检测结果，提高了路面标识检测结果的准确性。解决了现有技术中由于路面图像或俯视图中路面标识形变或路面标识被其他物体遮挡时，导致的路面标识被漏检、误检等问题。另外，由于本公开实施例有效的提高了路面标识检测结果的准确性，为后续根据路面标识进行行驶路线规划、辅助驾驶员判断自车或其他车量等的行驶方向以及建立高精地图等提供可靠参考数据。
[0013]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0014]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、
特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0015]图1是本公开实施例所适用的场景图；
[0016]图2是本公开一示例性实施例提供的路面标识检测方法的流程示意图；
[0017]图3是本公开一示例性实施例提供的步骤S204的流程示意图；
[0018]图4是本公开一示例性实施例提供的步骤S2042的流程示意图；
[0019]图5是本公开另一示例性实施例提供的步骤S2042的流程示意图；
[0020]图6是本公开又一示例性实施例提供的步骤S2042的流程示意图；
[0021]图7是本公开另一示例性实施例提供的路面标识检测方法的流程示意图；
[0022]图8是本公开又一示例性实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种路面标识检测方法，包括：获取路面图像和所述路面图像的俯视图；利用标识识别网络，对所述路面图像进行路面标识检测，得到第一检测结果；其中，所述第一检测结果包括路面标识的第一检测框和第一分类置信度；利用所述标识识别网络，对所述俯视图进行路面标识检测，得到第二检测结果，其中，所述第二检测结果包括路面标识的第二检测框和第二分类置信度；基于所述第一检测结果和所述第二检测结果，确定所述路面标识的检测结果，其中，所述路面标识的检测结果包括路面标识的第三检测框和第三分类置信度。2.根据权利要求1所述的方法，其中，所述基于所述第一检测结果和所述第二检测结果，确定所述路面标识的检测结果，包括：将所述第二检测框映射至所述路面图像，得到第一映射框；将所述第一映射框与所述第一检测框进行匹配，根据匹配结果确定所述路面标识的检测结果。3.根据权利要求2所述的方法，其中，所述将第一映射框与所述第一检测框进行匹配，根据匹配结果确定所述路面标识的检测结果，包括：获取所述第一映射框与所述第一检测框之间的交并比；响应于所述交并比大于或等于第一阈值，将所述第一检测结果或所述第二检测结果确定为所述路面标识的检测结果；或者，响应于所述交并比小于所述第一阈值且大于第二阈值，根据所述第一分类置信度和所述第二分类置信度确定所述路面标识的检测结果，其中，所述第一阈值大于所述第二阈值；或者，响应于所述交并比小于或等于所述第二阈值，确定所述路面图像和所述俯视图是否检测出所述路面标识；响应于所述路面图像检测出所述路面标识、且所述俯视图未检测出所述路面标识，将所述第一检测框映射至所述俯视图，得到第二映射框；将所述第二映射框对应的第一图像特征与所述俯视图中至少一个路面标识对应的图像特征分别进行匹配；响应于所述俯视图中存在与所述第一图像特征匹配的路面标识的图像特征，将所述第一检测结果确定为所述路面标识的检测结果；响应于所述俯视图中不存在与所述第一图像特征匹配的路面标识的图像特征，确定未检测出所述路面标识。4.根据权利要求3所述的方法，在所述响应于所述交并比小于或等于所述第二阈值，确定所述路面图像和所述俯视图是否检测出所述路面标识之后，所述方法还包括：响应于所述俯视图检测出所述路面标识、且所述路面图像未检测出所述路面标识，将所述第一映射框对应的第二图像特征与所述路面图像中的至少一个路面标识的图像特征分别进行匹配；响应于所述路面图像中存在与所述第二图像特征匹配的路面标识的图像特征，将所述第二检测结果确定为所述路面标识的检测结果；响应于所述路面图像中不存在与所述第二图像特征匹配的路面标识的图像特征，确定
未检测出所述路面标识。5.根据权利要求3或4所述的方法，在所述获取所述第一映射框与所述第一检测框之间的交并比之后，所述方法还包括：响应于所述交并比小于所述第一阈值，获取所述路面图像中车道线的位置信息和所述路标标识的位置信息；响应于根据所述路面图像中所述车道线的位置信息和所述路标标识的位置信息，确定所述路面图像中所述车道线和所述路面标识重合，滤除所述路面标识；和/或，响应于所述交并比小于所述第一阈值，获取所述俯视图中车道线的位置信息和所述路标标识的位置信息；响应于根据所述俯视图中所述车道线的位置信息和所述路标标识的位置信息，确定所述俯视图中所述车道线和所述路面标识重合，滤除所述路面标识。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述利用标识识别网络，对所述路面图像进行路面标识检测，得到第一检测结果，包括：利用所述标识识别网络中的共享子网络，对所述路面图像进行特征提取，得到所述路面图像的图像特征；利用所述标识识别网络中的第一路面标识识别子网络，对所述路面图像的图像特征进行识别，得到所述第一检测结果。7.根据权利要求1
‑
6中任一项所述的方法，其中，所述利用...

【专利技术属性】
技术研发人员：王粟瑶，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：