用于自主驾驶应用的地图创建和定位制造技术

公开了一种用于数据生成、使用所生成的数据创建地图和定位到所创建的地图的端到端系统。可以生成地图流——或传感器数据流、来自深度神经网络(DNN)的感知输出和/或相对轨迹数据——与任何数量的车辆的任何数量的驾驶相对应并且将其上传至云。地图流可以用于生成表示在多个驾驶上生成的数据的地图数据(以及最终融合的高清晰度(HD)地图)。当定位到融合的HD地图时，可以基于来自传感器模态的实时数据与对应于相同传感器模态的地图数据的比较来生成个体定位结果。可以针对任何数量的传感器模态重复该过程，并且可以将结果融合在一起以确定最终融合定位结果。以确定最终融合定位结果。以确定最终融合定位结果。

【技术实现步骤摘要】
【国外来华专利技术】用于自主驾驶应用的地图创建和定位

技术介绍

[0001]绘图和定位是自主驾驶功能的重要过程。高清(HD)地图、传感器感知或其组合通常用于相对于HD地图来定位车辆，以便做出规划和控制决定。通常，使用配备有高级、高精度传感器的调查车辆生成常规HD地图。然而，这些传感器对于在消费级车辆上实现而言过于昂贵。在典型的部署中，调查车辆能够在单个驾驶之后生成适合于定位的HD地图。不幸的是，由于具有这种高成本传感器的调查车辆的稀缺性，任何特定区域的HD地图的可用性可能集中在调查汽车操作的大都市或枢纽周围。对于更远的区域、较少行进的区域以及距这些活动枢纽较大距离的区域，可能已经从少至单个驾驶(即，如果数据完全可用)收集用于生成HD地图的数据。因此，在单个驾驶导致较低质量或较不适合此目的的传感器数据(例如，由于遮挡、动态对象、恶劣天气效应、碎片、构造伪像、暂时性硬件故障和/或可能损害所收集的传感器数据的质量的其他问题)的情况下，从传感器数据生成的HD地图可能不安全或可靠以用于定位。
[0002]为了补救这些质量问题，可能需要另一调查车辆在质量受损的位置处执行另一驾驶。然而，识别、部署、传感器数据生成和地图更新过程可能由于系统数据收集和地图创建过程而花费较长的时间段，使得HD地图不可用，直到进行更新为止。在道路状况或布局随时间频繁或急剧改变的情况下(例如，由于建造)，该问题恶化，因为可能没有用于识别这些变化的机制，并且即使被识别，也没有办法在不部署另一调查车辆的情况下生成更新的数据。
[0003]此外，因为消费者车辆可能不配备有相同的高质量、高成本传感器，所以定位至HD地图(即使当可用时)不能使用许多传感器模态(例如，相机、LiDAR、RADAR等)执行，因为数据的质量和类型可能不与用于生成HD地图的数据对准。因此，定位仅依赖于全球导航卫星系统(GNSS)数据，即使对于最昂贵且精确的传感器模型，其仍然仅在几米内实现精确度和/或在某些情况下具有可变的精确度。几米的不准确性可能将车辆放置在与当前行驶车道不同的车道上，或者放置在除了当前行驶的车道之外的道路一侧。照此，使用常规解决方案来生成HD地图可能导致不准确的地图，该不准确的地图在由于不准确的定位而合成时，对于实现安全且可靠的高度自主车辆(例如，3级、4级和5级)自主车辆存在显著障碍。

技术实现思路

[0004]本公开的实施例涉及用于自主驾驶应用的地图创建和定位的方法。具体地，本公开的实施例包括用于数据生成、使用所生成的数据的地图创建、以及定位到所创建的地图的端对端系统，该系统可与商用车辆中的通用消费者级传感器一起使用。例如，在数据生成过程期间，采用消费者质量传感器的数据收集车辆和/或消费车辆可以用于生成传感器数据。所产生的数据可以对应于地图流——其可以包括传感器数据流、来自深度神经网络(DNN)的感知输出和/或相对轨迹(例如，旋转和平移)数据——与任何数量的车辆的任何数量的驾驶相对应。照此，与常规系统的系统数据收集努力相反，当前系统可使用许多车辆和许多驾驶的众包数据生成。为了减少系统的带宽和存储器要求，来自地图流的数据可以被最小化(例如，通过滤波出动态对象、执行LiDAR平面切片或LiDAR点减少、将基于感知或相
机的输出转换成3D位置信息、仅针对特定数据类型执行活动等)和/或被压缩(例如，使用增量压缩技术)。作为使用消费级传感器生成地图流数据的结果，传感器数据——一旦被转换为用于定位的地图形式——可以直接用于定位，而不是仅依赖于GNSS数据。此外，因为跟踪与每个驾驶相对应的相对的轨迹信息，所以该信息可用于生成可定位的各个道路片段(例如，25米、50米等尺寸的道路片段)，从而允许在厘米范围内的定位精度。
[0005]在地图创建期间，地图流可以用于生成地图数据——以及最终生成融合的HD地图——其表示通过多个驾驶生成的数据。此外，当生成新地图流时，这些附加驾驶可以与现有地图流数据合并、组合或集成，并且用于进一步增加HD地图的鲁棒性。例如，每个地图流可以被转换成相应的地图，并且来自任何数量的地图(或相应的地图流)的任何数量的驾驶片段可以用于生成特定驾驶片段的融合HD地图表示。驾驶片段对可相对于彼此几何配准，以确定表示驾驶对的姿态(或帧)之间的旋转和平移的姿态链路。表示姿态链路的帧图可被分成道路片段——例如，用于相对定位的道路片段——并且对应于每个道路片段的姿态可经历优化。在每个片段内产生的最终姿态可以用于融合各个传感器数据和/或感知输出以用于生成最终的融合HD地图。作为结果，并且由于地图数据对应于消费者质量传感器，除在实施例中使用GNSS数据之外，来自HD地图的传感器数据和/或感知结果(例如，地标位置)可以直接用于定位(例如，通过将当前实时传感器数据和/或感知与对应的地图信息进行比较)。
[0006]例如，当定位到融合的HD地图时，可以基于传感器数据和/或来自传感器模态的感知输出与对应于相同传感器模态的地图数据的比较来生成个体定位结果。例如，可以使用对应于传感器模态的数据在每个帧处采样成本空间，可以使用多个个体的成本空间来生成聚合成本空间，并且可以使用滤波(例如，使用卡尔曼滤波器)来最终确定特定传感器模态的定位结果。可以针对任何数量的传感器模态(例如，LiDAR、RADAR、相机等)重复此过程，并且可以将结果融合在一起以确定当前帧的最终融合定位结果。然后，可以将融合定位结果推进至下一帧，并且用于确定下一帧的融合定位，等等。由于HD地图包括用于定位的各个道路片段，并且每个道路片段具有相应的全局位置，所以随着车辆定位到与道路片段对应的局部或相对坐标系，也可以实现全局定位结果。
附图说明
[0007]下面参考附图详细描述用于自主驾驶应用的地图创建和定位的本系统和方法，其中：
[0008]图1描绘了根据本公开的一些实施例的地图创建和定位系统的过程的数据流程图；
[0009]图2描绘了根据本公开的一些实施例的用于地图流生成的过程的数据流程图；
[0010]图3是示出了根据本公开的一些实施例的用于地图流生成的方法的流程图；
[0011]图4描绘了根据本公开的一些实施例的用于地图创建过程的数据流程图；
[0012]图5A至图5B描绘了根据本公开的一些实施例的用于将地图流转换成用于配准的地图的过程的数据流程图；
[0013]图5C描绘了根据本公开的一些实施例的确定片段以及用于配准的片段之间的成对连接的示意图；
[0014]图5D描绘了根据本公开的一些实施例的用于使用不同方法对不同数量的区段进行配准的成对连接的数量的表格；
[0015]图5E至图5F描绘了根据本公开的一些实施例使用面向前的相机和面向后的相机配准两个基础层地图片段的示例可视化；
[0016]图6A描绘了根据本公开的一些实施例在配准多个驾驶的片段之后生成的示例帧图；
[0017]图6B描绘了根据本公开的一些实施例的使用图6A的帧图的道路片段生成；
[0018]图6C描绘了根据本公开的一些实施例的与图6B的帧图的所确定的道路片段相对应的片段图；
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收与多个驾驶相对应的多个地图流；确定所述地图流中的两个或更多个地图流的彼此在阈值距离内的片段；配准来自所述两个或更多个地图流的至少一对片段以生成帧图；将所述帧图划分为道路片段以生成姿态图，所述姿态图包括与所述道路片段中的每个道路片段内的自主机器的位置相对应的姿态和对应的姿态链路；至少部分地基于所述姿态图来融合来自所述两个或更多个地图流的数据以生成融合地图；以及将所述融合地图传输至车辆以用于至少部分地基于所述融合地图来执行一个或更多个操作。2.根据权利要求1所述的方法，还包括：将所述两个或更多地图流转换成相应地图，其中，融合来自所述两个或更多地图流的所述数据包括融合来自所述相应地图的所述数据。3.根据权利要求2所述的方法，其中所述相应地图各自包括与不同传感器模态相对应的两个或更多个地图层。4.根据权利要求1所述的方法，其中所述一个或更多个操作包括定位所述车辆、执行所述车辆的路径规划或控制所述车辆中的至少一个。5.根据权利要求1所述的方法，其中所述多个地图流由多个车辆生成。6.根据权利要求1所述的方法，其中传输所述融合地图包括：传输与所述车辆装配的传感器模态相对应的所述融合地图的子集。7.一种方法，包括：从多个驾驶中的每个驾驶接收表示传感器数据、来自一个或更多个深度神经网络(DNN)的感知输出、以及与所述驾驶相对应的轨迹信息的数据；将所述数据转换成表示多个个体地图的第一地图数据，每个个体地图与所述多个驾驶中的一个驾驶相对应；至少部分地基于所述轨迹信息，将所述多个个体地图中的第一个体地图的第一片段配准到所述多个个体地图中的第二个体地图的第二片段以生成帧图；将来自所述帧图的姿态分配给道路片段以生成姿态图；至少部分地基于所述姿态图，生成第二地图数据，所述第二地图数据表示与所述第一个体地图和所述第二个体地图相对应的融合地图，所述融合地图包括所述道路片段；以及向车辆传输表示所述融合地图的数据，用于相对于所述道路片段对所述车辆执行定位。8.根据权利要求7所述的方法，其中所述道路片段具有对应的全局位置，并且相对于所述道路片段定位所述车辆还包括相对于全局坐标系定位所述车辆。9.根据权利要求7所述的方法，其中每个个体地图包括与不同传感器模态相对应的一个或更多个地图层。10.根据权利要求7所述的方法，还包括：至少部分地基于定位结果的质量来接收与附加驾驶相对应的附加数据；以及至少部分地基于所述附加数据来更新所述融合地图。11.根据权利要求7所述的方法，还包括：对所述姿态图执行一个或更多个优化算法以生成更新的姿态图，其中至少部分基于所述更新的姿态图生成表示所述融合地图的所述第二地图数据。12.根据权利要求7所述的方法，其中由生成所述数据的相应车辆预处理表示所述传感器数据、所述感知输出和所述轨迹信息的数据，以最小化所述数据的量。13.根据权利要求7所述的方法，...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：辉达公司，
类型：发明
国别省市：