用于自主系统和应用中的世界模型表示的基于关键帧的压缩技术方案

本公开涉及用于自主系统和应用中的世界模型表示的基于关键帧的压缩。在各种示例中，一种方法包括计算当前关键帧，当前关键帧表示基于地图数据在当前时间自主车辆周围的区域。该方法包括：在完成对当前关键帧的计算之前的第一时间将先前关键帧变换到自主车辆的坐标系，以生成第一世界模型帧。该方法包括：在第一时间之后并且在完成对当前关键帧的计算之前的第二时间将先前关键帧变换到自主车辆的坐标系，以生成第二世界模型帧。以生成第二世界模型帧。以生成第二世界模型帧。

【技术实现步骤摘要】
用于自主系统和应用中的世界模型表示的基于关键帧的压缩


[0001]本公开总体上涉及用于自主车辆的世界模型，并且更具体地涉及基于关键帧的世界模型数据的压缩。

技术介绍

[0002]自主和半自主车辆，也称为自动驾驶汽车、无人驾驶汽车、高级驾驶员辅助车辆或机器人汽车，其通常配备有使它们能够从源位置导航到目的地位置而不需要人类驾驶员持续监视、控制和/或直接操作车辆的功能。由于几个原因，驾驶自动化很困难。例如，自主车辆使用传感器即时做出驾驶决策，但车辆传感器无法始终观察一切。车辆传感器可能会被拐角、起伏的山丘和其他车辆、眩光、物体或道路使用者(行人、动物、骑自行车的人等)遮挡或遮蔽。来自车辆传感器的输入可能无法及早或足够快地得以处理，以使自主规划或控制功能无法做出适当的决定。此外，车道和标志可能在道路上丢失或被灌木丛撞倒或隐藏，因此传感器无法检测到。此外，用于通行权的道路标志可能不容易看到来用于确定车辆可能从哪里驶来或在紧急情况下或当存在必须通过的停止障碍物时用于用于转向或移出车道。
[0003]代替或除了严格依赖传感器数据之外，自主车辆可以使用准确的地图数据来减轻实时确定或证实一些上述信息所需的一些处理。例如，自主车辆可以使用地图数据来构建与自主车辆坐标系对齐的世界模型。对于自主车辆的安全导航，世界模型帧通常以每秒约30个世界模型帧的速率计算。世界模型帧的大数据量会消耗自主车辆上的大量通信、处理和/或存储资源。

技术实现思路

[0004]本公开的实施例涉及用于世界模型(WM)系统和应用的基于关键帧的压缩。
[0005]在示例实施例中，一种方法包括基于地图数据计算表示当前时间的自主车辆周围的区域的当前关键帧。该方法还包括在完成对当前关键帧的计算之前的第一时间将先前关键帧变换到自主车辆的坐标系，以生成第一WM帧。该方法还包括在第一时间之后并且在完成对当前关键帧的计算之前的第二时间将先前关键帧变换到自主车辆的坐标系，以生成第二WM帧。
[0006]在另一个示例实施例中，一种方法包括基于地图数据以第一频率计算表示自主车辆的周围的一个或更多个区域的多个关键帧。该方法还包括以大于第一频率的第二频率将最近的关键帧变换到自主车辆的坐标系以生成帧，使得从至少一个关键帧生成多个WM帧。
[0007]在另一个示例实施例中，一种系统包括一个或更多个处理器以实现第一和第二WM缓冲器、WM生产者节点和WM变换器节点。WM生产者节点耦合到第一和第二WM缓冲器中的每一个，以基于地图数据以第一频率计算代表自主车辆的周围的一个或更多个区域的关键帧，并用关键帧交替地填充第一WM缓冲器和第二WM缓冲器。WM变换器节点耦合到第一和第二WM缓冲器中的每一个，以随着时间以大于第一频率的第二频率将存储在第一WM缓冲器或第二WM缓冲器中的最近的关键帧变换到自主车辆的坐标系。
附图说明
[0008]下面结合附图详细描述本专利技术的基于WM关键帧的压缩的系统和方法，其中：
[0009]图1图示了根据本公开的一个或更多个实施例的可以与多个车辆交互的HD地图系统的示例整体系统环境；
[0010]图2图示了根据本公开的一个或更多个实施例的可以包括在图1的系统环境中的车辆计算系统的示例系统架构；
[0011]图3图示了根据本公开的一个或更多个实施例的图1的车辆计算系统的HD地图API中的各种指令层的示例；
[0012]图4图示了根据本公开的一个或更多个实施例的可以包括在图1的系统环境中的在线HD地图系统的示例系统架构；
[0013]图5示出了根据本公开的一个或更多个实施例的HD地图的示例组件；
[0014]图6A
‑
6B示出了根据本公开的一个或更多个实施例的可以在HD地图中定义的示例地理区域；
[0015]图7图示了根据本公开的一个或更多个实施例的HD地图中的示例车道表示；
[0016]图8A和图8B示出了根据本公开的一个或更多个实施例的HD地图中的示例车道元素和车道元素之间的关系；
[0017]图9A示出了根据本公开的一个或更多个实施例的用于计算WM帧的示例架构；
[0018]图9B是示出根据本公开的一个或更多个实施例的可以由图9A的架构的车道收集器、分段图产生器和/或其他组件实现的方法的流程图；
[0019]图9C图示了根据本公开的一个或更多个实施例的用于生成WM帧的方法；
[0020]图10示出了根据本公开的一个或更多个实施例的来自简单HD地图的示例车道图(LaneGraph)计算；
[0021]图11A和图11B示出了根据本公开的一个或更多个实施例的来自图11的用于移动的自主车辆或装备的HD地图的示例车道图计算；
[0022]图12示出了根据本公开的一个或更多个实施例的具有可以包括在图9A的架构中的三个节点的WM生成器的示例实现方式；
[0023]图13是示出根据本公开的一个或更多个实施例的用于生成WM帧的方法的流程图；
[0024]图14是示出根据本公开的一个或更多个实施例的用于生成WM帧的另一种方法的流程图；
[0025]图15A是根据本公开的一些实施例的示例自主车辆的图示；
[0026]图15B是根据本公开的一些实施例的图15A的示例自主车辆的相机位置和视野的示例；
[0027]图15C是根据本公开的一些实施例的图15A的示例自主车辆的示例系统架构的框图；
[0028]图15D是根据本公开的一些实施例的用于在一个或更多个基于云的服务器与图15A的示例自主车辆之间通信的系统图；以及
[0029]图16是适合用于实现本公开的一些实施例的示例计算设备的框图。
具体实施方式
[0030]公开了与在自主车辆中处理具有大数据大小的地图数据相关的系统和方法。在一个或更多个实施例中，地图数据可以包括车道、交通标志和灯、等待条件等，并且可以在自主车辆处使用以围绕自主车辆构建世界模型。一般来说，每个基于地图的世界模型的静态内容是变化相对较慢的内容，因此不需要为每一帧生成。因此，一些实施例将自主车辆的数据生成分成多个任务，其中具有较高延迟的任务比具有较低延迟的任务更不频繁地执行。例如，数据的生成可以分为较高延迟较低频率的世界模型关键帧生成任务和较低延迟较高频率的变换任务。替代地或附加地，任务可以包括较低延迟较高频率的变换计算任务。这些任务可能会随着时间的推移重复或迭代。
[0031]在示例实施例中，自主车辆周围的世界模型关键帧是随时间计算的，并且基于地图数据(例如车道图)以第一频率计算。任何给定时间的最新世界模型关键帧随时间以大于第一频率的第二频率变换到自主车辆的坐标系，以生成多个世界模型帧，从而从每个世界模型关键帧生成多个世界模型帧。在另一示例实施例中，基于地图数据计算自主车辆周围的当前世界模型关键帧。可以在完成当前世界模型关键帧的计算之前的第一时间将先前世界模型关键帧变换为自主车辆的坐标系，以生成第一世界模型帧。先前世界模型关键帧也可以在第一时间之后并且在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：计算当前关键帧，所述当前关键帧表示基于地图数据在当前时间自主车辆周围的区域；在完成对所述当前关键帧的计算之前的第一时间，将先前关键帧变换到所述自主车辆的坐标系，以生成第一世界模型帧；以及在所述第一时间之后并且在完成对所述当前关键帧的计算之前的第二时间，将所述先前关键帧变换到所述自主车辆的所述坐标系，以生成第二世界模型帧。2.根据权利要求1所述的方法，还包括：确定要应用于所述先前关键帧的变换，其中将所述先前关键帧变换到所述自主车辆的所述坐标系包括：使用所确定的变换将所述先前关键帧变换到所述自主车辆的所述坐标系。3.根据权利要求1所述的方法，其中计算所述当前关键帧包括：基于表示在所述当前时间所述自主车辆周围的区域中的一个或更多个车道的车道图来计算所述当前关键帧。4.根据权利要求3所述的方法，还包括：从高清HD地图的一部分生成所述车道图，所述生成包括：使用所述HD地图的所述部分递增地增长所述自主车辆周围的有效车道的集合。5.根据权利要求4所述的方法，其中递增地增长所述自主车辆周围的有效车道的集合包括，对于多个帧中的至少两个顺序帧：在所述集合中保留来自先前帧的至少一个车道，所述至少一个车道保持在所述自主车辆的水平线内，所述水平线被表示为以所述自主车辆为中心的预定义区域的周界；将新近在所述水平线内的每个车道添加到所述集合中；以及从所述集合中移除保留在或添加到不再位于所述水平线内的所述先前帧的至少一个车道。6.根据权利要求4所述的方法，其中使用第一有效车道缓冲器存储递增地增长的有效车道的集合，所述方法还包括：使用当前递增地增长的有效车道的集合填充第二有效车道缓冲器。7.根据权利要求1所述的方法，其中使用第一世界模型缓冲器存储所述先前关键帧，所述方法还包括：使用所述当前关键帧来填充第二世界模型缓冲器。8.根据权利要求7所述的方法，其中在计算所述当前关键帧之后，将所述当前关键帧作为新的先前关键帧存储在所述第二世界模型缓冲器中，所述方法还包括，在计算所述当前关键帧之后：至少部分地基于附加地图数据计算表示所述自主车辆周围的区域的后续关键帧；用所述后续关键帧填充所述第一世界模型缓冲器；在完成对所述后续关键帧的计算之前的第三时间，将使用所述第二世界模型缓冲器存储的所述新的先前关键帧变换到所述自主车辆的坐标系；以及在所述第三时间之后且在完成对所述后续关键帧的计算之前的第四时间，将存储在所述第二世界模型缓冲器中的所述新的先前关键帧变换到所述自主车辆的坐标系。9.一种方法，包括：基于地图数据，以第一频率计算表示自主车辆周围的一个或更多个区域的多个关键帧；以及以大于所述第一频率的第二频率将最近的关键帧变换到所述自主车辆的坐标系，以生
成多个世界模型帧，使得从至少一个世界模型关键帧生成多个世界模型帧。10.根据权利要求9所述的方法，还包括：随着时间并以所述第二频率确定要应用于所述最近的关键帧的一个或更多个变换，其中将所述最近的关键帧变换到所述自主车辆的坐标系包括：根据所确定的一个或更多个变换将所述最近的关键帧变换到所述自主车辆的坐标系。11.根据权利要求9所述的方法，其中基于所述地图数据计算所述多个关键帧包括：基于多个车道图计算所述多个世界模型关键帧。12.根据权利要求11所述的方法，还包括：从高清HD地图的多个部分生成所述多个车道图，其中所述生成包括：...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：