用于自主系统和应用的使用人工智能利用点云致密化的3D表面重建技术方案

本公开涉及用于自主系统和应用的使用人工智能利用点云致密化的3D表面重建。在各种示例中，可以观察和估计诸如道路的3D表面结构(3D路面)的3D表面结构以生成3D表面结构的3D点云或其他表示。由于表示可能是稀疏的，因此可以应用一种或更多种致密化技术来致密化3D表面结构的表示。例如，稀疏投影图像和密集投影图像(例如，2D高度图)之间的关系可以用马尔可夫随机场建模，并且可以使用相应的联合概率分布来执行最大后验(MAP)推理，以在给定稀疏值的值的情况下估计最可能的致密值。所得到的3D表面结构的致密表示可以提供给自主车辆的驾驶堆栈，以实现对自主车辆的安全和舒适的规划和控制。划和控制。划和控制。

【技术实现步骤摘要】
用于自主系统和应用的使用人工智能利用点云致密化的3D表面重建

技术介绍

[0001]设计一个系统以在没有监督的情况下自主、安全和舒适地驾驶车辆是非常困难的。自主车辆至少应该能够像细心的驾驶员一样发挥功能——其利用感知和行动系统，该系统具有在复杂环境中识别和应对移动和静态障碍物的令人难以置信的能力——在周围三维(3D)环境中沿着车辆的路径进行导航。因此，检测环境部分的能力通常对于自主驾驶感知系统至关重要。随着自主车辆的运行环境开始从高速公路环境扩展到以复杂场景和复杂形状为特征的半城市和城市环境，这种能力变得越来越重要。
[0002]3D环境的一个重要组成部分是3D路面。对3D路面的了解使自主车辆能够提供舒适和安全的驾驶体验。例如，自主车辆可以调整车辆的悬架系统以匹配当前的路面(例如，通过补偿道路上的颠簸)。在另一个示例中，自主车辆可以导航以避开道路上的突起(例如，凹陷、孔洞)。在又一个示例中，自主车辆可以基于道路中迫近的表面坡度应用早期加速或减速。这些功能中的任何一个都可以用于提高安全性、提高车辆的使用寿命、提高能源效率和/或提供平稳的驾驶体验。
[0003]估计路面结构的一种方式是利用3D重建。现有的3D路面重建方法依赖于LiDAR传感器或相机。使用LiDAR传感器的传统技术会发射激光脉冲并检测来自路面的反射信号，以重建道路上的3D点。然而，LiDAR传感器价格昂贵，范围有限，其准确度可能不足以满足自动驾驶中的某些应用。使用相机的传统技术依赖于多视图几何来重建3D实体。然而，使用相机的传统重建技术无法有效地计算致密测量，并且传统的后处理技术(例如插值或平面拟合)通常不足以为现实世界中存在的复杂路面提供足够准确的模型。因此，需要改进的用于自主驾驶应用的3D路面重建技术。

技术实现思路

[0004]本公开的实施例涉及3D表面估计。在一些实施例中，可以观察和估计诸如道路的3D表面结构(3D路面)的3D表面结构以生成3D点云或3D表面结构的其他表示。由于该表示可能是稀疏的，因此可以应用一种或更多种致密化技术来生成3D表面结构的致密表示，该致密表示可以提供给自主车辆驾驶堆栈，以实现对自主车辆的安全和舒适的规划和控制。
[0005]在示例实施例中，一个或更多个相机可以固定到车辆或其他对象上或以其他方式设置在车辆或其他对象上，并用于在车辆或对象导航通过3D环境(例如，沿着道路)时捕捉3D环境的图像，并且可以应用任何合适的3D结构估计技术来生成感兴趣的3D表面结构(例如3D路面)的表示。3D表面结构的表示可以使用例如马尔可夫随机场和/或深度神经网络(DNN)来致密化。在使用马尔可夫随机场的示例致密化技术中，稀疏投影图像和密集投影图像(例如，高度图)可以用无向图建模，并且最大后验(MAP)推理可以用于根据给定的稀疏值来估计最可能的致密值。在使用DNN的致密化技术的示例中，稀疏投影图像可以被馈送到DNN以预测相应的致密投影图像。可以以各种方式生成此类DNN的训练数据，并且用于训练DNN以在给定稀疏表示的情况下预测3D表面结构的致密表示。用于生成训练数据的示例技
术包括：1)渲染虚拟传感器数据、分割掩码和深度图的帧；2)对3D路面进行参数化数学建模；3)从单个LiDAR传感器收集和注释真实传感器数据；和/或4)收集和注释从多个LiDAR传感器累积的真实传感器数据。
[0006]因此，本文所述的技术可用于观察和重建3D表面，例如3D路面，并且可将3D表面结构的表示(和/或相应的置信度值)提供给自主车辆驾驶堆栈(autonomous vehicle drive stack)，以实现对自主车辆的安全和舒适的规划和控制。例如，自主车辆可以调整车辆的悬架系统以匹配当前的路面(例如，通过补偿道路上的颠簸)。在另一个示例中，自主车辆可以导航以避开道路上的突起(例如，凹陷、孔洞)。在又一个示例中，自主车辆可以基于道路中迫近的表面坡度应用早期加速或减速。这些功能中的任何一个都可以用于提高安全性、提高车辆的使用寿命、提高能源效率和/或提供平稳的驾驶体验。
[0007]提供该概述以以简化形式介绍概念的选择，这些概念将在下面的详细描述中进一步描述。本概述并不意欲识别关键特征或基本特征。
附图说明
[0008]下面参照附图详细描述本专利技术的用于3D表面估计的系统和方法，其中：
[0009]图1是示出根据本公开的一些实施例的示例3D表面重建管线的数据流程图；
[0010]图2是示出根据本公开的一些实施例的示例3D结构估计器的示图；
[0011]图3是示出根据本公开的一些实施例的示例检测致密器的示图；
[0012]图4是示出根据本公开的一些实施例的对稀疏高度图和致密高度图之间的关系进行建模的示例无向图的示图；
[0013]图5是说明根据本公开的一些实施例的示例深度学习模型表面估计器的数据流程图；
[0014]图6是示出根据本公开的一些实施例的包括具有多个输入头的深度学习模型的示例深度学习模型表面估计器的数据流程图；
[0015]图7是示出根据本公开的一些实施例的用于在捕获会话期间生成三维(3D)表面结构的表示的方法的流程图；
[0016]图8是示出根据本公开的一些实施例的用于至少基于马尔可夫随机场来生成3D表面结构的致密表示的方法的流程图；
[0017]图9是示出根据本公开的一些实施例的用于至少部分地基于使用一个或更多个神经网络估计的3D路面结构来控制车辆的方法的流程图；
[0018]图10是示出根据本公开的一些实施例的使用模拟环境的示例训练数据生成管线的数据流程图；
[0019]图11是根据本公开的一些实施例的期望表面的示例参数数学模型的图示；
[0020]图12是示出根据本公开的一些实施例的使用收集到的真实世界数据的示例地面实况生成管线的数据流程图；
[0021]图13A是根据本公开的一些实施例的来自示例LiDAR扫描的LiDAR数据的图示，以及图13B是根据本公开的一些实施例的从多个LiDAR扫描累积的LiDAR数据的图示；
[0022]图14是示出根据本公开的一些实施例的用于训练一个或更多个神经网络(NN)以使用模拟图像数据生成3D表面结构的致密表示的方法的流程图；
[0023]图15是示出根据本公开的一些实施例的用于为训练数据集生成合成3D路面的不完整和地面实况表示的方法的流程图；
[0024]图16是示出根据本公开的一些实施例的用于训练一个或更多个神经网络(NN)以使用在捕获会话期间捕获的图像数据和LiDAR数据来生成3D表面结构的致密表示的方法的流程图；
[0025]图17A是根据本公开的一些实施例的示例自主车辆的图示；
[0026]图17B是根据本公开的一些实施例的图17A的示例自主车辆的相机位置和视野的示例；
[0027]图17C是根据本公开的一些实施例的图17A的示例自主车辆的示例系统架构的框图；
[0028]图17D是根据本公开的一些实施例的用于在基于云的服务器与图17本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：至少部分地基于在捕获会话期间使用环境中的自我对象的一个或更多个相机生成的图像数据，生成所述环境的组件的三维3D表面结构的第一表示；至少部分地基于致密化所述3D表面结构的所述第一表示来生成所述3D表面结构的第二表示；以及在所述捕获会话期间向所述自我对象的控制组件提供所述3D表面结构的所述第二表示。2.根据权利要求1所述的方法，其中，致密化所述3D表面结构的所述第一表示包括：至少基于对所述3D表面结构的噪声表示和所述3D表面结构的致密表示之间的关系建模的马尔可夫随机场来估计所述3D表面结构的所述第二表示。3.根据权利要求2所述的方法，还包括：使用所述第一表示作为所述噪声表示并且使用所述第二表示作为所述致密表示。4.根据权利要求1所述的方法，其中，所述3D表面结构的所述第一表示包括第一二维2D高度图，所述3D表面结构的所述第二表示包括第二2D高度图，并且生成所述第二表示包括：执行最大后验MAP推理以在给定所述第一2D高度图的情况下估计所述第二2D高度图。5.根据权利要求1所述的方法，还包括：用无向图表示所述3D表面结构，所述无向图使用三维3D栅格对所述3D表面结构建模，所述三维3D栅格具有连接到第二层节点的第一层节点，所述第一层的节点表示所述3D表面结构的所述第一表示的像素，并且所述第二层的节点表示所述3D表面结构的所述第二表示的像素，其中致密化所述3D表面结构的所述第一表示至少基于所述无向图。6.根据权利要求1所述的方法，其中，所述3D表面结构的所述第一表示包括第一投影图像，所述3D表面结构的所述第二表示包括第二投影图像，并且生成所述第二投影图像包括：至少基于对所述第一投影图像和所述第二投影图像之间的关系建模的马尔可夫随机场，预测所述第二投影图像中的一个或更多个像素中的至少一个像素的值。7.根据权利要求1所述的方法，还包括：对在所述捕获会话期间以连续时间片生成的所述图像数据的连续实例重复执行所述方法以生成所述3D表面结构的所述第二表示的连续实例。8.根据权利要求1所述的方法，其中，所述自我对象的所述控制组件用于在所述捕获会话期间执行以下至少一项：至少基于所述3D表面结构的所述第二表示来调整所述自我对象的悬架系统，导航所述自我对象以避开在所述3D表面结构的所述第二表示中检测到的突起，或者至少基于在所述3D表面结构的所述第二表示中检测到的表面坡度对所述自我对象应用加速或减速。9.一种处理器，包括：一个或更多个电路，用于车辆在环境中运行期间接收使用所述车辆的一个或更多个相机生成的图像数据，并且在所述车辆在所述环境中运行期间虚拟地重建所述环境中的路面，其中，所述一个或更多个电路通过使用所述图像数据生成所述路面的第一估计3D表面结构并通过致密化所述第一估计3D表面结构生成所述路面的第二估计3D表面结构来虚拟
地重建所述路面。10.根据权利要求9所述的处理器，其中，所述一个或更多个电路进一步用于至少部分地基于表示所述第二估计3D表面结构的数据来控制所述车辆。11.根据权利要求9所述的处理器，其中，致密化所述路面的所述第一估计3D表面结构包括：至少基于对所述路面的3D表面结构的噪声表示与所述路面的3D表面结构的致密表示之间的关系建模的马尔可夫随机场来生成所述路面的所述第二估计3D表面结构；以及将所述第一估计3D表面结构用作所述噪声表示，并且将所述第二估计3D表面结构用作所述致密表示。12.根据权利要求9所述的处理器，其中，所述路面的所述第一估计3D表面结构包括第一二维2D高度图，所述路面的所述第二估计3D表面结构包括第二2D高度图，并且生成所述路面的所述第二估计3D表面结构包括：执行最大后验MAP推理以在给定所述第一2D高度图的情况下生成所述第二2D高度图。...

【专利技术属性】
技术研发人员：王康，吴越，朴旻雨，潘刚，
申请(专利权)人：辉达公司，
类型：发明
国别省市：