用于自主系统和应用的使用深度神经网络利用点云致密化的3D表面重建技术方案

本公开涉及用于自主系统和应用的使用深度神经网络利用点云致密化的3D表面重建。在各种示例中，可以观察和估计诸如道路的3D表面结构(3D路面)的3D表面结构以生成3D表面结构的3D点云或其他表示。由于估计的表示可能是稀疏的，因此可以使用深度神经网络(DNN)从稀疏表示中预测3D表面结构的致密表示的值。例如，稀疏的3D点云可以被投影以形成稀疏的投影图像(例如，稀疏的2D高度图)，该图像可以被馈送到DNN以预测致密的投影图像(例如，致密的2D高度图)。3D表面结构的预测的致密表示可以提供给自主车辆驾驶堆栈，以实现对自主车辆的安全和舒适的规划和控制。舒适的规划和控制。舒适的规划和控制。

【技术实现步骤摘要】
用于自主系统和应用的使用深度神经网络利用点云致密化的3D表面重建

技术介绍

[0001]设计一个系统以在没有监督的情况下自主、安全和舒适地驾驶车辆是非常困难的。自主车辆至少应该能够像细心的驾驶员一样发挥功能——其利用感知和行动系统，该系统具有在复杂环境中识别和应对移动和静态障碍物的令人难以置信的能力——在周围三维(3D)环境中沿着车辆的路径进行导航。因此，检测环境部分的能力通常对于自主驾驶感知系统至关重要。随着自主车辆的运行环境开始从高速公路环境扩展到以复杂场景和复杂形状为特征的半城市和城市环境，这种能力变得越来越重要。
[0002]3D环境的一个重要组成部分是3D路面。对3D路面的了解使自主车辆能够提供舒适和安全的驾驶体验。例如，自主车辆可以调整车辆的悬架系统以匹配当前的路面(例如，通过补偿道路上的颠簸)。在另一个示例中，自主车辆可以导航以避开道路上的突起(例如，凹陷、孔洞)。在又一个示例中，自主车辆可以基于道路中迫近的表面坡度应用早期加速或减速。这些功能中的任何一个都可以用于提高安全性、提高车辆的使用寿命、提高能源效率和/或提供平稳的驾驶体验。
[0003]估计路面结构的一种方式是利用3D重建。现有的3D路面重建方法依赖于LiDAR传感器或相机。使用LiDAR传感器的传统技术会发射激光脉冲并检测来自路面的反射信号，以重建道路上的3D点。然而，LiDAR传感器价格昂贵，范围有限，其准确度可能不足以满足自动驾驶中的某些应用。使用相机的传统技术依赖于多视图几何来重建3D实体。然而，使用相机的传统重建技术无法有效地计算致密测量，并且传统的后处理技术(例如插值或平面拟合)通常不足以为现实世界中存在的复杂路面提供足够准确的模型。因此，需要改进的用于自主驾驶应用的3D路面重建技术。

技术实现思路

[0004]本公开的实施例涉及3D表面估计。在一些实施例中，可以观察和估计诸如道路的3D表面结构(3D路面)的3D表面结构以生成3D点云或3D表面结构的其他表示。由于该表示可能是稀疏的，因此可以应用一种或更多种致密化技术来生成3D表面结构的致密表示，该致密表示可以提供给自主车辆驾驶堆栈，以实现对自主车辆的安全和舒适的规划和控制。
[0005]在示例实施例中，一个或更多个相机可以固定到车辆或其他对象上或以其他方式设置在车辆或其他对象上，并用于在车辆或对象导航通过3D环境(例如，沿着道路)时捕捉3D环境的图像，并且可以应用任何合适的3D结构估计技术来生成感兴趣的3D表面结构(例如3D路面)的表示。3D表面结构的表示可以使用例如马尔可夫随机场和/或深度神经网络(DNN)来致密化。在使用马尔可夫随机场的示例致密化技术中，稀疏投影图像和密集投影图像(例如，高度图)可以用无向图建模，并且最大后验(MAP)推理可以用于根据给定的稀疏值来估计最可能的致密值。在使用DNN的致密化技术的示例中，稀疏投影图像可以被馈送到DNN以预测相应的致密投影图像。可以以各种方式生成此类DNN的训练数据，并且用于训练DNN以在给定稀疏表示的情况下预测3D表面结构的致密表示。用于生成训练数据的示例技
术包括：1)渲染虚拟传感器数据、分割掩码和深度图的帧；2)对3D路面进行参数化数学建模；3)从单个LiDAR传感器收集和注释真实传感器数据；和/或4)收集和注释从多个LiDAR传感器累积的真实传感器数据。
[0006]因此，本文所述的技术可用于观察和重建3D表面，例如3D路面，并且可将3D表面结构的表示(和/或相应的置信度值)提供给自主车辆驾驶堆栈(autonomous vehicle drive stack)，以实现对自主车辆的安全和舒适的规划和控制。例如，自主车辆可以调整车辆的悬架系统以匹配当前的路面(例如，通过补偿道路上的颠簸)。在另一个示例中，自主车辆可以导航以避开道路上的突起(例如，凹陷、孔洞)。在又一个示例中，自主车辆可以基于道路中迫近的表面坡度应用早期加速或减速。这些功能中的任何一个都可以用于提高安全性、提高车辆的使用寿命、提高能源效率和/或提供平稳的驾驶体验。
[0007]提供该概述以以简化形式介绍概念的选择，这些概念将在下面的详细描述中进一步描述。本概述并不意欲识别关键特征或基本特征。
附图说明
[0008]下面参照附图详细描述本专利技术的用于3D表面估计的系统和方法，其中：
[0009]图1是示出根据本公开的一些实施例的示例3D表面重建管线的数据流程图；
[0010]图2是示出根据本公开的一些实施例的示例3D结构估计器的示图；
[0011]图3是示出根据本公开的一些实施例的示例检测致密器的示图；
[0012]图4是示出根据本公开的一些实施例的对稀疏高度图和致密高度图之间的关系进行建模的示例无向图的示图；
[0013]图5是说明根据本公开的一些实施例的示例深度学习模型表面估计器的数据流程图；
[0014]图6是示出根据本公开的一些实施例的包括具有多个输入头的深度学习模型的示例深度学习模型表面估计器的数据流程图；
[0015]图7是示出根据本公开的一些实施例的用于在捕获会话期间生成三维(3D)表面结构的表示的方法的流程图；
[0016]图8是示出根据本公开的一些实施例的用于至少基于马尔可夫随机场来生成3D表面结构的致密表示的方法的流程图；
[0017]图9是示出根据本公开的一些实施例的用于至少部分地基于使用一个或更多个神经网络估计的3D路面结构来控制车辆的方法的流程图；
[0018]图10是示出根据本公开的一些实施例的使用模拟环境的示例训练数据生成管线的数据流程图；
[0019]图11是根据本公开的一些实施例的期望表面的示例参数数学模型的图示；
[0020]图12是示出根据本公开的一些实施例的使用收集到的真实世界数据的示例地面实况生成管线的数据流程图；
[0021]图13A是根据本公开的一些实施例的来自示例LiDAR扫描的LiDAR数据的图示，以及图13B是根据本公开的一些实施例的从多个LiDAR扫描累积的LiDAR数据的图示；
[0022]图14是示出根据本公开的一些实施例的用于训练一个或更多个神经网络(NN)以使用模拟图像数据生成3D表面结构的致密表示的方法的流程图；
[0023]图15是示出根据本公开的一些实施例的用于为训练数据集生成合成3D路面的不完整和地面实况表示的方法的流程图；
[0024]图16是示出根据本公开的一些实施例的用于训练一个或更多个神经网络(NN)以使用在捕获会话期间捕获的图像数据和LiDAR数据来生成3D表面结构的致密表示的方法的流程图；
[0025]图17A是根据本公开的一些实施例的示例自主车辆的图示；
[0026]图17B是根据本公开的一些实施例的图17A的示例自主车辆的相机位置和视野的示例；
[0027]图17C是根据本公开的一些实施例的图17A的示例自主车辆的示例系统架构的框图；
[0028]图17D是根据本公开的一些实施例的用于在基于云的服务器与图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：至少部分地基于在捕获会话期间使用环境中的自我对象的一个或更多个相机生成的图像数据，生成表示所述环境的组件的三维3D表面结构的第一表示；至少基于将所述3D表面结构的所述第一表示应用于一个或更多个神经网络NN来生成所述3D表面结构的致密表示；以及在所述捕获会话期间向所述自我对象的控制组件提供所述3D表面结构的所述致密表示。2.根据权利要求1所述的方法，还包括至少基于以下内容生成所述3D表面结构的所述第一表示：至少基于将3D结构估计应用于所述图像数据，生成所述环境的第一估计3D表示；以及将表示所述环境的所述组件的分割掩码应用于所述环境的所述第一估计3D表示，以识别与所述环境的所述组件相对应的所述第一估计3D表示的一个或更多个点。3.根据权利要求1所述的方法，还包括：至少基于将3D结构估计应用于所述图像数据，生成所述环境的点云表示；投影所述点云表示的至少一部分以生成所述环境的所述组件的所述3D表面结构的所述第一表示，作为表示所述环境的所述组件的一个或更多个高度值的第一高度图；以及将所述第一高度图应用于所述一个或更多个NN以预测所述3D表面结构的所述致密表示，作为表示所述环境的所述组件的所述一个或更多个高度值的第二高度图。4.根据权利要求1所述的方法，其中所述一个或更多个NN包括用于表示所述环境的所述组件的一个或更多个高度值的高度图的第一输入通道和用于表示所述环境的所述组件的一个或更多个颜色值的透视图像的第二输入通道。5.根据权利要求1所述的方法，其中所述一个或更多个NN包括对所述环境的所述组件的一个或更多个高度值进行回归的第一输出通道和对与所述一个或更多个高度值相对应的一个或更多个置信度值进行回归的第二输出通道。6.根据权利要求1所述的方法，还包括：至少基于所述图像数据生成表示所述环境的所述组件的一个或更多个高度值的第一高度图；从所述一个或更多个高度值中的至少一个中去除所述一个或更多个高度值的均值高度以生成所述环境的所述组件的所述3D表面结构的第一表示；以及将所述均值高度重新引入到所述3D表面结构的所述致密表示的相应预测值中。7.根据权利要求1所述的方法，还包括：在所述捕获会话期间对在连续时间片中生成的所述图像数据的连续实例重复执行所述方法以生成所述3D表面结构的所述致密表示的连续实例。8.根据权利要求1所述的方法，其中所述自我对象的所述控制组件被配置为在所述捕获会话期间执行以下至少一项：至少基于所述3D表面结构的所述致密表示来调整所述自我对象的悬架系统，导航所述自我对象以避开在所述3D表面结构的所述致密表示中检测到的突起，或者至少基于在所述3D表面结构的所述致密表示中检测到的表面坡度，对所述自我对象应用加速或减速。
9.一种处理器，包括一个或更多个电路，用于：在车辆在环境中运行期间接收使用所述车辆的一个或更多个相机生成的图像数据；在所述车辆在所述环境中的所述运行期间，至少部分地基于以下内容虚拟地重建所述环境中的路面：使用所述图像数据生成所述路面的第一估计3D表面结构；以及至少部分地基于将所述第一估计3D表面结构应用于一个或更多个神经网络NN来生成所述路面的致密估计3D表面结构；以及至少部分地基于表示所述致密估计3D表面结构的数据来控制所述车辆。10.根据权利要求9所述的处理器，所述一个或更多个电路还用于至少基于以下内容生成所述路面的所述第一估计3D表面结构：至少基于将3D结构估计应用于所述图像数据，生成所述环境的第一估计3D表示；以及将表示所述路面的分割掩码应用于所述环境的所述第一估计3D表示，以识别与所述路面相对应的所述第一估计3D表示的一个或更多个点。11.根...

【专利技术属性】
技术研发人员：王康，吴越，朴旻雨，潘刚，
申请(专利权)人：辉达公司，
类型：发明
国别省市：