在自主系统和应用程序中使用特征描述符绘图进行单个和跨传感器对象追踪技术方案

本公开涉及在自主系统和应用程序中使用特征描述符绘图进行单个和跨传感器对象追踪。在各种示例中，可以利用来自车辆传感器的实时感知来为车辆生成对象追踪路径，以促进实时或接近实时的导航控制。例如，可以训练深度神经网络(DNN)来计算各种输出，诸如特征描述符图，该特征描述符图包括与一个或更多个传感器视场中包含的对象相对应的特征描述符向量。可以对输出进行解码和/或以其他方式进行后处理以重建对象追踪，并确定用于导航车辆的建议或潜在路径。在路径。在路径。

【技术实现步骤摘要】
在自主系统和应用程序中使用特征描述符绘图进行单个和跨传感器对象追踪

技术介绍

[0001]自主驾驶系统和高级驾驶员辅助系统(ADAS)可以使用传感器(诸如相机、LIDAR(激光雷达)传感器、RADAR(雷达)传感器和/或类似物)来执行各种任务——诸如对象检测、对象追踪、车道保持、车道改变、车道分配、相机校准、转弯、路径规划和/或定位。例如，为了使自主和ADAS系统独立和有效地运行，必须实现对机器周围环境的理解。这种理解可包括关于对象位置和对象路径或轨迹的信息，并且机器在做路径规划或控制决策时可以使用这些信息——诸如要遵循什么路径或轨迹。
[0002]例如，当规划机器路径、避开对象和/或做出控制决策时，关于自主或半自主机器的环境中的对象位置和对象路径的信息是重要的——诸如在哪里停止、使用什么路径来安全地穿过交叉路口、其他车辆或行人可能位于哪里等。
[0003]传统的对象追踪系统使用运动模型或基于卷积DNN的模型，两者都严重依赖于对象检测器。例如，一些运动模型使用边界形状内的关键点(诸如尺度不变特征变换(SIFT)算法和/或Kanade<br/>‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于：使用深度神经网络DNN并至少部分地基于使用自我机器的一个或更多个第一传感器生成的第一传感器数据，计算表示一个或更多个第一特征描述符的第一特征图；至少部分地基于所述一个或更多个第一特征描述符将第一特征描述符与第一对象相关联；使用所述DNN并至少部分地基于使用所述自我机器的所述一个或更多个第一传感器或一个或更多个第二传感器中的至少一个生成的第二传感器数据，计算表示一个或更多个第二特征描述符的第二特征图；至少部分地基于所述一个或更多个第二特征描述符将第二特征描述符与第二对象相关联；至少部分地基于所述第一特征描述符和所述第二特征描述符确定所述第一对象和所述第二对象是同一对象；以及至少部分地基于确定所述第一对象和所述第二对象是同一对象，由所述自我机器执行一个或更多个操作。2.根据权利要求1所述的处理器，其中使用所述一个或更多个第一传感器在第一时间戳生成所述第一传感器数据，以及使用所述一个或更多个第一传感器在第二时间戳生成所述第二传感器数据。3.根据权利要求1所述的处理器，其中在使用所述一个或更多个第二传感器生成所述第二传感器数据的同时，使用所述一个或更多个第一传感器生成所述第一传感器数据。4.根据权利要求1所述的处理器，其中关联所述第一特征描述符与所述第一对象包括：至少部分地基于所述第一传感器数据来计算边界形状；确定至少部分地在所述边界形状内的所述一个或更多个第一特征描述符的子集；以及使用所述子集生成所述第一特征描述符。5.根据权利要求4所述的处理器，其中使用所述子集生成所述第一特征描述符包括：对与所述一个或更多个第一特征描述符的子集相对应的值进行平均。6.根据权利要求4所述的处理器，其中使用所述DNN、另一DNN或对象检测算法中的一个来执行计算所述边界形状。7.根据权利要求1所述的处理器，其中所述一个或更多个操作包括追踪所述同一对象。8.根据权利要求1所述的处理器，其中所述一个或更多个第一特征描述符中的每个第一特征描述符和所述一个或更多个第二特征描述符中的每个第二特征描述符使用一维特征向量来表示。9.根据权利要求1所述的处理器，其中使用三元组损失函数来训练所述DNN。10.根据权利要求1所述的处理器，其中使用批量困难三元组挖掘或批量半困难三元组挖掘中的至少一个来进一步地训练所述DNN。11.根据权利要求1所述的处理器，其中所述处理器被包括在以下至少一个中：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的系统；
用于执行深度学习操作的系统；使用边缘设备实现的系统；使用机器人实现的系统；合并一个或更多个虚拟机VM的系统；至少部分地在数据中心中实现的系统；或至少部分地使用云计算资源实现的系统。12.一种系统，包括：一个或更多个处理单元；以及存储有指令的一个或更多个存储器单元，当由所述一个或更多个处理单元执行所述指令时，使所述一个或更多个处理单元执行以下操作，包括：使用深度神经网络DNN并且至少部分地基于使用自我机器的一个或更多个第一传感器生成的第一传感器数据来计算一个或更多个第一特征向量；使用所述一个或更多个第一特征向量将第一特征向量与第一对象相关联；使用所述DNN并且至少部分地基于使用所述自我机器的所述一个或更多个第一传感器或一个或更多个第二传感器生成的第二传感器数据来计算一个或更多个第二特征向量；至少部分地基于所述一个或更多个第二特征向量将第二特征向量与第二对象相关联；至少部分地基于所述第一特征向量和所述第二特征向量将所述第一对象和所述第二对象定义为同一对象；以及至少部分地基于将所述第一对象和所述第二对象定义为所述同一对象，由所述自我机器执行一个或更多个操作。13.根据权利要求12所述的系统，其中使用所述一个或更多个第一传感器在第一时间生成...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：辉达公司，
类型：发明
国别省市：