车辆的神经辐射场制造技术

本公开提供了“车辆的神经辐射场”。一种计算机包括处理器和存储器，并且所述存储器存储指令，所述指令可由所述处理器执行以使用占用网格地图、场景的来自相机的相机数据和所述场景的来自激光雷达的激光雷达数据来联合训练几何NeRF多层感知(MLP)和颜色NeRF MLP以对所述场景进行建模；在所述联合训练期间用所述激光雷达数据监督所述几何NeRF MLP；以及在所述联合训练期间用所述相机数据监督所述颜色NeRF MLP。几何NeRF MLP是对场景的几何形状进行建模的神经辐射场，并且颜色NeRF MLP是对场景的颜色进行建模的神经辐射场。

【技术实现步骤摘要】

本公开涉及用于车辆的神经辐射场。

技术介绍

1、现代车辆通常包括各种传感器。一些传感器检测外部世界，例如，车辆的周围环境的对象和/或特性，诸如其他车辆、道路车道标记、交通信号灯和/或标志、行人等。车辆的传感器的类型包括雷达传感器、超声波传感器、扫描激光测距仪、光探测和测距(激光雷达)装置以及图像处理传感器(诸如相机)。

技术实现思路

1、本公开描述了用于对场景进行几何和视觉建模的技术。使用不同神经辐射场(nerf)多层感知器(mlp)、几何nerf mlp和颜色nerf mlp以及占用网格地图来对场景进行建模。几何nerf mlp是对场景的几何形状进行建模的神经辐射场，并且颜色nerf mlp是对场景的颜色进行建模的神经辐射场。神经辐射场是被训练为隐式表示特定场景的神经网络，在这种情况下为多层感知器。还用占用网格地图对场景进行建模。占用网格地图是将三维场景表示为网格，其中网格中的每个点都是指示该点是被占用(即，被对象填充)还是未被占用(即，空白空间)的变量。计算机被编程为使用所述占用网格地图、所述场景的来自相本文档来自技高网...

【技术保护点】

1.一种方法，其包括：

2.根据权利要求1所述的方法，其还包括在所述联合训练之后，基于所述占用网格地图、所述几何NeRF MLP或所述颜色NeRF MLP中的至少一者来致动部件。

3.根据权利要求1所述的方法，其还包括在沿着从所述相机或激光雷达延伸的射线的点处对所述占用网格地图的占用进行采样。

4.根据权利要求3所述的方法，其还包括通过从所述占用网格地图的附近网格点处的占用值进行插值来对所述点处的所述占用进行采样。

5.根据权利要求3所述的方法，其中所述点是第一点，并且所述第一点沿着所述射线均匀地间隔开，所述方法还包括在沿着所述射线的第二点...

【技术特征摘要】

1.一种方法，其包括：

2.根据权利要求1所述的方法，其还包括在所述联合训练之后，基于所述占用网格地图、所述几何nerf mlp或所述颜色nerf mlp中的至少一者来致动部件。

3.根据权利要求1所述的方法，其还包括在沿着从所述相机或激光雷达延伸的射线的点处对所述占用网格地图的占用进行采样。

4.根据权利要求3所述的方法，其还包括通过从所述占用网格地图的附近网格点处的占用值进行插值来对所述点处的所述占用进行采样。

5.根据权利要求3所述的方法，其中所述点是第一点，并且所述第一点沿着所述射线均匀地间隔开，所述方法还包括在沿着所述射线的第二点处对所述占用网格地图的占用执行重要性采样，并且以所述第二点的位置作为输入来执行所述几何nerf mlp或所述颜色nerfmlp中的至少一者。

6.根据权利要求1所述的方法，其还包括进行通过执行所述几何nerf mlp来渲染从所述激光雷达延伸的激光雷达射线或通过执行所述颜色nerf mlp来渲染从所述相机延伸的相机射线中的至少一项。

7.根据权利要求1所述的方法，其还包括基于损失函数来更新所述几何nerf mlp。

8.根据权利要求7所述的方法，其中所述损失函数包括沿着从所述激光雷达延伸的射线的视线损失，所述损失函数包括...

【专利技术属性】
技术研发人员：A·卡尔森，尼基塔·斋普里亚，普纳杰·查克拉瓦蒂，M·斯里尼瓦桑拉马纳戈帕尔，R·瓦苏德万，K·斯金纳，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：