针对自主驾驶应用的使用曲线拟合的地标检测制造技术

在各个示例中，执行一个或更多个深度神经网络(DNN)以回归曲线的控制点，并且控制点可以用于执行曲线拟合操作(例如，贝塞尔曲线拟合)以识别环境中的地标位置和几何结构。因此，(一个或更多个)DNN的输出可以指示二维(2D)图像空间和/或三维(3D)世界空间控制点位置，并且可以执行后处理技术(诸如聚类和时间平滑)来精确地且实时地确定地标位置和姿态。因此，车辆可以使用与地标(例如，车道线、道路边界线、人行横道、杆、文本等)相对应的重构曲线来执行用于导航环境的一个或更多个操作。执行用于导航环境的一个或更多个操作。执行用于导航环境的一个或更多个操作。

【技术实现步骤摘要】
【国外来华专利技术】针对自主驾驶应用的使用曲线拟合的地标检测

技术介绍

[0001]在环境中准确地和精确地检测地标(例如，车道线、车道边缘、道路边界、文本、杆或标志和/或其他特征)的能力对于所有自主级别的自主机器应用(例如，从驾驶员/飞行员辅助机器或车辆到半自主和全自主机器和车辆)是必要的。由于道路标记质量的变化、车道和道路标记惯例中的地理或区域差异，以及由于磨损、天气条件、照明条件、临时标记(例如，由于施工或救灾)等引起的道路标记障碍、退化和/或遮挡，在驾驶期间在环境中可能遇到的车道标记的多样性会非常高。
[0002]一些常规的车道或车道线检测方法已经使用深度神经网络(DNN)处理，其中使用行驶表面的高分辨率图像以及车道和线的相关联注释来训练DNN(例如，卷积神经网络(CNN))以识别车道线。这些常规方法已经训练DNN通过将图像的每个像素分类为或者不分类为车道线的一部分来生成示出图像中的车道线的一般位置的分割掩膜。然而，这些常规方法需要大量的后处理(诸如动态编程)以将输出转换成车道线、道路边界、杆和/或其他特征的可用表示。例如，因为这些常规DNN的输出包括对属于每个地标特征的像素中的每个像素的识别，所以在后处理期间必须确定属于同一地标的像素中的每个像素之间的相关性以及其分类。此外，对于具有除了笔直轮廓之外的轮廓的地标(例如，为了遵循行驶表面的曲线或轮廓线)，额外的角度或方向性信息必须由DNN输出并被后处理以确定地标特征的角度或方向。这些大量的后处理任务增加了系统的等待时间，并且增加了系统的计算要求，从而使得这些常规DNN对于车辆中的实时部署不太有用。<br/>
技术实现思路

[0003]本公开的实施例涉及针对自主驾驶应用的使用曲线拟合的地标检测。公开了使用一个或更多个深度神经网络(DNN)来回归曲线的控制点并使用控制点执行曲线拟合操作(例如，贝塞尔曲线拟合)来识别环境中的地标位置和几何结构的系统和方法。因此，(一个或更多个)DNN的输出可以指示二维(2D)图像空间和/或三维(3D)世界空间控制点位置，并且可以执行较少计算和时间密集的后处理技术(诸如聚类和时间平滑)来精确地且实时地确定地标位置和姿态。因此，与常规系统相比，针对车辆的一个或更多个传感器中的每个传感器的视野中的每个地标，控制点可类似于物体检测方法进行回归，然后控制点可以用于重建对应于地标(例如，车道线、道路边界线、人行横道、杆、文本等)的曲线。
[0004]为了训练(一个或更多个)DNN以便进行准确预测，可以从与训练数据集中的地标特征相对应的多段线和/或多边形注释中生成与地标特征的控制点位置相对应的地面实况数据。例如，因为训练数据集可以包括先前注释的多段线或多边形，所以可以使用曲线拟合方法来分析这些现有注释(除了新的或附加的训练数据集以外或替代于新的或附加的训练数据集)以确定用于生成地面实况数据的控制点。在一些实施例中，为了提高控制点确定的准确度，可以对来自地面实况多段线的点进行重采样以沿着多段线创建更均匀间隔的点，使得所确定的控制点更准确地反映地标特征的曲线。用于训练(一个或更多个)DNN回归控制点的地面实况数据可以包括指示距曲线的阈值距离内的像素的二元掩码，指示在x、y和/
或z方向上(针对3D控制点回归)至控制点的距离的距离回归通道，和/或用于确定与每个控制点或拟合曲线对应的分类或语义信息的分类通道。一旦被训练和部署，(一个或更多个)DNN就可以准确和精确地计算指示控制点位置和与其对应的语义信息的输出，并且这些输出可以被解码和后处理以确定对应于地标特征的曲线。
附图说明
[0005]下面参考附图详细描述针对自主驾驶应用的使用曲线拟合进行地标检测的本系统和方法，其中：
[0006]图1是示出了根据本公开的一些实施例的用于训练用于地标检测的深度神经网络(DNN)的示例过程的数据流程图；
[0007]图2A描绘了根据本公开的一些实施例的与训练图像相关联的注释的可视化；
[0008]图2B描绘了根据本公开的一些实施例的曲线拟合操作；
[0009]图2C描绘了根据本公开的一些实施例的使用曲线拟合操作被转换为曲线的注释的可视化；
[0010]图3A描绘了根据本公开的一些实施例的用于生成地面实况数据的训练数据的可视化；
[0011]图3B描绘了根据本公开的一些实施例的二元掩码的可视化；
[0012]图3C描绘了根据本公开的一些实施例的位分类掩码的可视化；
[0013]图3D
‑
3K描绘了根据本公开的一些实施例的距离回归掩码的可视化；
[0014]图4A
‑
4C描绘了根据本公开的一些实施例的使用减小的长度和变化的权重生成的地面实况数据的可视化；
[0015]图5是示出了根据本公开的一些实施例的用于训练用于地标检测的DNN的方法的流程图；
[0016]图6是示出了根据本公开的一些实施例的使用用于地标检测的DNN的示例过程的数据流程图；
[0017]图7是示出了根据本公开的一些实施例的对用于地标检测的DNN的输出进行解码和后处理的示例过程的数据流程图；
[0018]图8A
‑
图8B描绘了根据本公开的一些实施例的在后处理之前和之后的预测曲线的可视化；
[0019]图9A
‑
9E描绘了根据本公开的一些实施例的使用DNN检测到的示例地标类型的可视化；
[0020]图10是示出了根据本公开的一些实施例的用于使用DNN进行地标检测的方法的流程图；
[0021]图11A是根据本公开的一些实施例的示例自主车辆的图示；
[0022]图11B是根据本公开的一些实施例的图11A的示例自主车辆的相机位置和视野的示例；
[0023]图11C是根据本公开的一些实施例的图11A的示例自主车辆的示例系统架构的框图；
[0024]图11D是根据本公开的一些实施例的用于在基于云的服务器与图11A的示例自主
车辆之间通信的系统图；
[0025]图12是适合用于实现本公开的一些实施例的示例计算设备的框图；以及
[0026]图13是适合用于实现本公开的一些实施例的示例数据中心的框图。
具体实施方式
[0027]公开了与针对自主驾驶应用的使用曲线拟合进行地标检测相关的系统和方法。尽管本公开可以针对示例自主车辆1100(可替代地在此被称为“车辆1100”或“自主车辆1100”，其示例在本文针对图11A
‑
11D进行描述)进行描述，但这不旨在是限制性的。例如，本文所述的系统和方法可由非自主车辆、半自主车辆(例如，在自适应驾驶员辅助系统(ADAS)中)、机器人、仓库车辆、越野车辆、飞行船、船、客运车辆、汽车、卡车、公共汽车、第一响应车辆、摆渡车、电动或机动自行车、摩托车、消防车、警用车辆、救护车、建筑车辆、水下飞行器、无人机、另一种类型的车辆(例如，无人驾驶的和/或容纳一个或更多个乘客的车辆)、有人驾驶或无人驾驶的机器人、和/或有人驾驶或无人驾驶的机器人平台使用。此外，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：向神经网络应用表示传感器的传感场的传感器数据；使用所述神经网络并且至少部分地基于所述传感器数据来计算在与所述传感器数据相对应的图像中识别出的一条或更多条曲线的一个或更多个控制点的一个或更多个位置；使用曲线拟合算法并且至少部分地基于所述控制点的位置来生成所述一条或更多条曲线；以及由机器至少部分地基于所述一条或更多条曲线来执行一个或更多个操作。2.根据权利要求1所述的方法，其中所述计算一个或更多个控制点的所述一个或更多个位置包括：使用所述神经网络计算第一数据，所述第一数据指示在所述图像中识别出的所述一条或更多条曲线中的至少一条曲线的半径内的所述图像的像素；计算第二数据，所述第二数据指示到所述一条或更多条曲线的所述一个或更多个控制点的距离；以及对所述第一数据和所述第二数据进行解码以确定所述一个或更多个控制点的所述一个或更多个位置。3.根据权利要求2所述的方法，其中所述神经网络进一步计算指示所述一条或更多条曲线的分类信息的第三数据，并且所述方法还包括：至少部分地基于所述第三数据，将所述分类信息与所述一条或更多条曲线相关联，其中由所述机器执行所述一个或更多个操作进一步至少部分地基于相关联的分类信息。4.根据权利要求3所述的方法，其中所述第三数据表示一个或更多个位分类掩码。5.根据权利要求4所述的方法，其中所述一个或更多个位分类掩码中的位分类掩码的数量等于比所述神经网络为其计算输出的分类类型的数量少一个。6.根据权利要求2所述的方法，其中所述第一数据表示二元掩码，其中所述图像中描绘的所述一条或更多条曲线中的所述至少一条曲线的半径内的所述图像的所述像素具有第一值，并且除所述像素之外的其他像素具有不同于所述第一值的第二值。7.根据权利要求2所述的方法，其中每条曲线包括大于三个的多个控制点，所述第二数据表示多个回归掩码，并且所述多个回归掩码包括与所述控制点的数量相等的多个x轴距离回归掩码和y轴距离回归掩码。8.根据权利要求1所述的方法，其中所述曲线拟合算法包括二维贝塞尔曲线拟合算法、三维贝塞尔曲线拟合算法、三次贝塞尔曲线拟合算法、高阶贝塞尔曲线拟合算法或分裂式贝塞尔曲线拟合算法中的至少一个。9.根据权利要求1所述的方法，还包括：对所述一条或更多条曲线执行聚类算法以生成最终集合的曲线，其中至少部分地基于所述最终集合的曲线来执行所述一个或更多个操作。10.根据权利要求9所述的方法，其中所述聚类算法包括具有噪声的应用的基于密度的空间聚类DBSCAN操作，所述DBSCAN操作使用积分损失作为相似性函数。11.根据权利要求1所述的方法，其中所述一条或更多条曲线对应于道路标记、车道线、道路边界线、交叉线、人行道、自行车车道线、文本、杆、树、灯柱或标志中的一个或更多个。12.一种系统，包括：一个或更多个传感器；一个或更多个处理单元；以及在其上存储指令的一个或更多个存储器设备，当使用所述一个或更多个处理单元执行所述指令时，使所述一个或更多个处理单元执行以下操作，包括：向神经网络应用表示与一个或更多个传感器中的传感器的传感场相对应的图像的传感器数据；使用所述神经网络并且至少部分地基于所述传感器数据来计算与所述图像中识别出的一个或更多个特征相对应的一条或更多
条曲线的一个或更多个控制点的位置；使用曲线拟合算法并且至少部分地基于所述控制点的位置来生成所述一条或更多条曲线；以及至少部分地基于所述一条或更多条曲线来执行一个或更多个操作。13.根据权利要求12所述的系统，其中所述计算包括：计算指示在与所述图像中识别出的特征相对应的一条或更多条曲线中的至少一条...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：辉达公司，
类型：发明
国别省市：