自主机器应用中使用RADAR传感器检测障碍物的深度神经网络制造技术

本发明专利技术公开了自主机器应用中使用RADAR传感器检测障碍物的深度神经网络，在各种示例中，在高速公路和城市场景中，可以训练一个或更多个深度神经网络(例如，卷积神经网络)以从三维(3D)空间的RADAR数据中检测运动和静止障碍物。可以对RADAR检测进行累积，自我运动补偿，正射投影，然后将其输入到一个或更多个神经网络中。一个或更多个神经网络可包括具有特征提取器和几个预测不同输出的头部的公共干线，例如预测置信度图的类置信度头部和预测检测到的对象的对象实例数据的实例回归头部。可以对输出进行解码、过滤和/或聚类以形成识别检测到的对象实例的位置、大小和/或方向的边界形状。可以将检测到的对象实例提供给自主车辆驱动栈，以实现自主车辆的安全计划和控制。

【技术实现步骤摘要】
自主机器应用中使用RADAR传感器检测障碍物的深度神经网络相关申请的交叉引用本申请要求于2019年11月21日提交的美国临时申请号为62/938,852的权益，其全部内容通过引用并入本文。
技术介绍
设计一种在没有监督的情况下安全地自动驾驶车辆的系统非常困难。自主车辆应该至少能与专心的驾驶员(其利用具有在复杂环境中识别移动和静止障碍物并对其做出反应的惊人能力的感知和行动系统)执行相当的功能以避免与车辆路径上的其他对象或结构碰撞。因此，检测运动或静止的主体(例如，汽车，行人等)的实例的能力是自主驾驶感知系统的关键组成部分。随着自主车辆的操作环境开始从高速公路环境扩展到具有许多遮挡物和复杂形状的复杂场景的半城市和城市环境，这种功能变得越来越重要。传统的感知方法在很大程度上依赖于相机或LIDAR传感器的使用来检测场景中的障碍物。但是，这些传统方法具有许多缺点。例如，传统的检测技术在具有严重遮挡的场景中不可靠。此外，传统的感测技术在恶劣的天气条件下通常是不可靠的，并且底层的传感器通常非常昂贵。此外，由于来自这些传统系统的输出信号需要繁重的后处理才能提本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收表示使用自我执行者的一个或更多个RADAR传感器在时间段内累积的传感器检测的RADAR数据；/n将所述累积的传感器检测转换为对应于所述时间段内的特定时间的所述自我执行者的位置，以生成运动补偿的传感器检测；/n将所述运动补偿的传感器检测投影到二维(2D)图像空间中以生成投影图像；/n将表示所述投影图像的数据应用于神经网络；/n使用所述神经网络并且至少部分地基于所述数据计算表示一个或更多个检测到的对象的输出；以及/n至少部分地基于所述神经网络的所述输出，生成与所述一个或更多个检测到的对象中的每个对象相对应的至少一个边界形状。/n

【技术特征摘要】
20191121 US 62/938,852;20200331 US 16/836,5831.一种方法，包括：
接收表示使用自我执行者的一个或更多个RADAR传感器在时间段内累积的传感器检测的RADAR数据；
将所述累积的传感器检测转换为对应于所述时间段内的特定时间的所述自我执行者的位置，以生成运动补偿的传感器检测；
将所述运动补偿的传感器检测投影到二维(2D)图像空间中以生成投影图像；
将表示所述投影图像的数据应用于神经网络；
使用所述神经网络并且至少部分地基于所述数据计算表示一个或更多个检测到的对象的输出；以及
至少部分地基于所述神经网络的所述输出，生成与所述一个或更多个检测到的对象中的每个对象相对应的至少一个边界形状。


2.根据权利要求1所述的方法，其中使用两个或更多个RADAR传感器累积所述传感器检测，并且进一步地其中，所述RADAR数据包括：
来自所述两个或更多个RADAR传感器的累积的传感器检测，其中所述累积的传感器检测被转换为单个坐标系。


3.根据权利要求1所述的方法，其中所述时间段内的所述特定时间包括所述时间段内的最新时间。


4.根据权利要求1所述的方法，其中所述转换所述累积的传感器检测包括：
将所述传感器检测的过去传感器检测映射到所述自我执行者的过去运动；以及
至少部分地基于所述自我执行者的所述过去运动来估计与所述过去传感器检测相关联的对象的当前位置。


5.根据权利要求1所述的方法，其中所述投影图像包括所述自我执行者周围的环境的俯视图，并且进一步地其中，所述投影所述运动补偿的传感器检测包括将所述运动补偿的传感器检测正射投影到所述环境的所述俯视图中。


6.根据权利要求1所述的方法，其中所述投影图像包括具有指定的空间维度的俯视图，并且进一步地其中，所述数据具有所述空间维度。


7.根据权利要求1所述的方法，其中对于所述投影图像的每个像素，表示所述投影图像的所述数据累积与所述像素相交的所述运动补偿的传感器检测的子集的反射特性。


8.根据权利要求1所述的方法，其中所述神经网络包括连接到类置信度头部和实例回归头部的公共干线，其中所述类置信度头部包括用于要检测的对象的每个类别的通道，其中所述实例回归头部包括N个通道，所述N个通道中的每一个为每个检测到的对象回归特定类型的位置、大小或方向信息。


9.根据权利要求1所述的方法，其中所述神经网络的所述输出包括存储每个检测到的对象的回归位置、大小和方向数据的第一张量，以及存储每个检测到的对象的分类数据的第二张量，其中基于所述第一张量和所述第二张量生成所述至少一个边界形状。


10.根据权利要求1所述的方法，其中所述神经网络的所述输出包括存储每个检测到的对象的回归位置、大小和方向数据的第一张量，以及存储每个检测到的对象的分类数据的第二张量，其中所述生成所述至少一个边界形状包括：
基于所述第一张量和所述第二张量生成候选边界形状；以及
通过执行所述候选边界形...

【专利技术属性】
技术研发人员：A·波波夫，N·斯莫良斯基，R·奥迪家，S·默里，T·韦克尔，D·尼斯特，J·佩瑟尔，R·巴尔加瓦，S·奥，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国;US