自主机器应用中使用RADAR传感器检测障碍物的深度神经网络制造技术

本发明专利技术公开了自主机器应用中使用RADAR传感器检测障碍物的深度神经网络，在各个示例中，可以训练一个或更多个深度神经网络(例如，卷积神经网络)，以从三维(3D)空间的RADAR数据中检测移动或静止障碍物。在一些实施例中，可以从LIDAR数据生成用于一个或更多个神经网络的地面真实训练数据。更具体地，可以用RADAR和LIDAR传感器观察场景，以收集特定时间片的RADAR数据和LIDAR数据。RADAR数据可以用于输入训练数据，并且与RADAR数据相同或最接近的时间片相关联的LIDAR数据可以用识别要检测的对象的地面真实标签来注释。LIDAR标签可以传播到RADAR数据，并且可以省略包含少于一些阈值数量的RADAR检测的LIDAR标签。(剩余的)LIDAR标签可用于生成地面真实数据。

【技术实现步骤摘要】
自主机器应用中使用RADAR传感器检测障碍物的深度神经网络相关申请的交叉引用本申请要求于2019年11月21日提交的美国临时申请号为62/938,852的权益，其全部内容通过引用并入本文。
技术介绍
设计一种在没有监督的情况下安全地自动驾驶车辆的系统非常困难。自主车辆应该至少能与专心的驾驶员(其利用具有在复杂环境中识别移动和静止障碍物并对其做出反应的惊人能力的感知和行动系统)执行相当的功能以避免与车辆路径上的其他对象或结构碰撞。因此，检测运动或静止的主体(例如，汽车，行人等)的实例的能力是自主驾驶感知系统的关键组成部分。随着自主车辆的操作环境开始从高速公路环境扩展到具有许多遮挡物和复杂形状的复杂场景的半城市和城市环境，这种功能变得越来越重要。传统的感知方法在很大程度上依赖于相机或LIDAR传感器的使用来检测场景中的障碍物。但是，这些传统方法具有许多缺点。例如，传统的检测技术在具有严重遮挡的场景中不可靠。此外，传统的感测技术在恶劣的天气条件下通常是不可靠的，并且底层的传感器通常非常昂贵。此外，由于来自这些传统系统的输出信号需要繁重的后处理才能提本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收从三维(3D)环境收集的RADAR数据和LIDAR数据；/n正射投影与时间片相关联的所述LIDAR数据的第一实例，以生成代表所述3D环境中的LIDAR检测的LIDAR投影图像；/n接收LIDAR标签，所述LIDAR标签识别在所述LIDAR投影图像中由所述LIDAR检测表示的对象位置；/n正射投影与所述时间片相关联的所述RADAR数据的第二实例，以生成代表所述3D环境中的RADAR检测的RADAR投影图像；/n将所述LIDAR标签传播到所述RADAR投影图像以生成传播的LIDAR标签；/n确定与所述传播的LIDAR标签中的每个传播的LIDAR标签相对应的所述RADAR...

【技术特征摘要】
20191121 US 62/938,852;20200331 US 16/836,583;20201.一种方法，包括：
接收从三维(3D)环境收集的RADAR数据和LIDAR数据；
正射投影与时间片相关联的所述LIDAR数据的第一实例，以生成代表所述3D环境中的LIDAR检测的LIDAR投影图像；
接收LIDAR标签，所述LIDAR标签识别在所述LIDAR投影图像中由所述LIDAR检测表示的对象位置；
正射投影与所述时间片相关联的所述RADAR数据的第二实例，以生成代表所述3D环境中的RADAR检测的RADAR投影图像；
将所述LIDAR标签传播到所述RADAR投影图像以生成传播的LIDAR标签；
确定与所述传播的LIDAR标签中的每个传播的LIDAR标签相对应的所述RADAR检测的数量；
移除包含少于阈值数量的RADAR检测的所述传播的LIDAR标签集，剩下剩余的LIDAR标签集；以及
使用至少部分地基于所述剩余的LIDAR标签集生成的地面真实数据训练神经网络，以从所述RADAR投影图像检测对象。


2.根据权利要求1所述的方法，还包括：
将所述RADAR投影图像和代表所述RADAR检测的特征集以及相应的反射特性编码为多通道RADAR数据张量；以及
使用所述多通道RADAR数据张量和所述地面真实数据作为训练数据训练所述神经网络。


3.根据权利要求1所述的方法，其中所述RADAR数据的所述第二实例包括累积的、自我运动补偿的RADAR检测。


4.根据权利要求1所述的方法，其中所述地面真实数据包括类置信度张量和实例回归张量。


5.根据权利要求1所述的方法，还包括使用所述剩余的LIDAR标签集生成所述地面真实数据，以生成由所述LIDAR检测所表示的所述对象的位置、大小或方向数据中的至少一个，且将所述位置、大小或方向数据中的至少一个编码为实例回归张量的相应通道。


6.根据权利要求1所述的方法，其中所述LIDAR标签还识别由所述LIDAR投影图像中的所述LIDAR检测表示的所述对象的类别，所述方法还包括通过将代表所述对象的所述类别的分类数据编码为类置信张量的相应通道来生成所述地面真实数据。


7.根据权利要求1所述的方法，其中所述LIDAR标签包括在所述3D环境中围绕静止车辆绘制的边界盒，所述方法还包括使用围绕所述静止车辆绘制的所述边界盒来训练所述神经网络以从输入RADAR数据检测其他静止车辆。


8.根据权利要求1所述的方法，其中所述LIDAR投影图像是LIDAR点云的正射投影，其中所述LIDAR标签包括围绕在所述正射投影顶部绘制的每个车辆的闭合折线集。


9.一种方法，包括：
接收从三维(3D)环境收集的RADAR数据和LIDAR数据；
对于所述LIDAR数据的每帧：
从所述LIDAR数据的帧生成代表来自所述3D环境的LIDAR检测的LIDAR投影图像；
接收LIDAR标签，所述LIDAR标签识别在所述LIDAR投影图像中由所述LIDAR检测表示的对象位置；
从与所述LIDAR数据的帧相关联的所述RADAR数据的相应帧生成代表来自所述3D环境的RADAR检测的RADAR投影图像；以及
使用至少部分地基于所述LIDAR标签生成的地面真实数据训练神经网络，以从所述RADAR...

【专利技术属性】
技术研发人员：A·波波夫，N·斯莫良斯基，R·奥迪家，S·默里，T·韦克尔，D·尼斯特，J·佩瑟尔，R·巴尔加瓦，S·奥，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国;US